《SAS:借助自然语言处理倾听所有声音-需要了解的有关人机交互的所有信息(24页).pdf》由会员分享,可在线阅读,更多相关《SAS:借助自然语言处理倾听所有声音-需要了解的有关人机交互的所有信息(24页).pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、借助自然语言处理,倾听所有声音您需要了解的有关人机交互的所有信息目录对话的艺术37沟通的科学11自然语言处理的 实际效果16自然语言处理的 9 个最佳实践19说相同的语言对话的艺术机器如何学习理解人类语言的细微差别 并进行解释?使用自然语言处理。非结构化文本是最大的人工生成数据源,它每分钟都在呈指数级增长。各种技术时时刻刻都在我们触手可及之处,比如我们能够通过文本、即时消息、电子邮件和社交媒体进行快速交流,而交流范围也从客观陈述的事实到思想和观点,以及对企业或组织有益或无益经验的评论。互联网使信息获取比以往任何时候都更加容易,数字记录现在已成为常态,不再是例外。了解非结构化文本 每个数据源都包
2、含大量的非结构化文本。与结构化信息不同,人类语言不能整齐地排列在行和列中。考虑将文本消息对话放入行和列中。每个字或值都不能整齐地放入一个框中,这些框也不能很好地与某些非重复值对齐。用笔书写或通过键盘输入的任何内容均被视为自由格式或非结构化文本。想象一下通过计算机对非结构化文本进行分析。未进行自然语言处理的信息将对机器毫无意义。借助自然语言处理,机器可以快速、不断地对不断增长的文本数据进行筛选,以识别主要思想或主题,发现新兴趋势,分析情感并识别字词间的相关性。一群人类分析员会对成堆的网络数据、电子邮件、面试记录、数字记录和社交媒体站点进行梳理,但是由于要筛选的信息量巨大,很难手动识别关键字并检测
3、模式。可以使用自然语言处理对机器进行教授和引导,以人类无法匹敌的规模和速度来分析非结构化文本。反过来,这使得人们可以专注于机器无法完成的更高层次的战略性任务,例如应用推理、理解影响和实施行动 计划。对话的艺术自然语言处理非结构化文本是最大的人类生成数据源每分钟创建的文本1.56 亿1,600 万240 万电子邮件文本搜索510,000470,000帖子推文4TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起与机器人对话除了分析非结构化文本数据之外,人们现在还可以通过与机器人对话来获得信息或完成任务。询问机器人(例如 Alexa 或 Siri)天气情况、播放特定歌曲、订
4、购物品或安排约会表面看起来似乎很简单、很直观,但实际上却是通过复杂的技术在后台运作。聊天机器人旨在通过模仿人类对话的语音界面来提供自然的对话流。通过该流程可以简化信息访问或自动完成任务。聊天机器人能够成功模仿人类对话,很大程度上取决于其自然语言处理算法的准确性以及支持该机器人框架的人类领域知识的深度。随着机器学习的进步和计算能力的提高,聊天机器人变得越来越智能,除了进行简单呼叫和响应类型交互之外还具有许多其他功能。SAS 允许用户通过聊天机器人界面访问高级分析功能。其结果是,聊天机器人可以使用多种 AI 功能,例如用于预测供需的预测方法、用于识别对象和事件的计算机视觉、或基于对上下文元素的理解
5、,对意图进行精确匹配的自然语言处理。沟通的艺术人类的沟通是一门艺术,无论口头沟通还是书面沟通。直接看我们说出或写出的内容,对话因素和语境并不总是表现得很明显。一直以来,人类语言的独特性都是一门流动艺术,因为其中富含了历史、文化、环境和生活经验等各种信息,无论技术有多么先进,如果没有人类进行重要的指导,那么机器很难复制出这种独特的品质。人工智能(AI)系统可以有效地增强人类分析非结构化文本的能力,增强智能聊天机器人的功能,或将语音转换为文本,但是该系统高度依赖于经过适当培训以使用自然语言处理来理解和解释人类语言。对话的艺术自然语言处理5TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语
6、言规则结合在一起说同一种语言人工智能、自然语言处理和人类专业知识如何协同工作,以帮助人类和机器进行沟通,并发现数据的意义。数字数据的爆炸式增长以及计算能力的迅速增强,令人工智能(AI)市场兴奋不已。人们对于 AI 在分析方面能发挥什么作用观点不一,但是随着机器执行分析并报告结果,核心问题可归结为人类如何与计算机进行沟通。我们人类不会像机器那样用 1 和 0 来表达我们的思想和发现。我们使用了数十万年来进化来的各种语言和方言的复杂性。因此,我们必须教授机器我们说话的方式和我们所表达的含义,以便它们能够以相同的方式与我们沟通。AI 和自然语言处理人工智能这一科学领域旨在训练计算机通过学习和自动化来
7、模仿人类任务。通过 AI,机器可以从经验中学习、适应新的输入并在无人工干预的情况下完成特定任务。自然语言处理(NLG)是人工智能的一个分支,专注于人类语言的理解、解释和模仿。NLP 从包括计算机科学和计算语言学在内的多学科提取内容,致力于填补人类交流与机器理解之间的差距。基于 NLP,自然语言理解和自然语言生成的进步为前沿应用程序的开发做出了贡献。使用 NLP 处理非结构化文本后,自然语言理解(NLU)可以帮助机器理解其正在阅读的内容。NLU 超越了对语言结构上的理解,并训练机器来解释意图、利用上下文、解决歧义并向系统发出命令以回答问题、显示特定数据或执行特定任务。当命令传递给自然语言生成(N
8、LG)组件时,它甚至可以在指定的域或任务内自行生成正确格式的人类语言。NLU 与 NLG 的结合,让计算机看起来好像真正地理解了人类的语言,但是如果要求系统执行其他任务(不是经训练的待执行任务集),那么这种幻觉便会破灭。自然语言理解旨在解决歧义并确定上下文,而自然语言生成(NLG)的目标是以会话形式自动生成令人难以置信规模的内容。NLG 使用自然语言处理的基础来帮助机器检查任何类型的信息(包括文档)、确定信息的整体上下文,并自动生成报告、描述、说明或交互式对话。自然语言生成通常用于自动生成大量个性化内容(例如表单电子邮件、消费品描述、操作性能摘要、易于使用的分析结果)以及智能聊天机器人响应。人
9、类专业技术和语言学不同语言和方言中的俗语、俚语和讽刺语,使人类很难感知和学习语言的许多细微差别,但是语言中的这些纷繁难懂之处也必须教授给机器。虽然一个人不可能精通每种语言的精髓,但一群人协作却可以实现。同样,自然语言处理可以帮助计算机理解、解释和驾驭人类语言。并非所有事物都可以或应该实现自动化,但是因为自然语言是人类独有语言,因此需要人类的专业知识来提供大量帮助。说相同的语言自然语言处理7TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起人类的专业知识是以语言学的形式出现,语言学是对语言的科学研究,包括分析语言结构、含义和语境。熟悉语法、语义和语用的区别的语言学家对于
10、开发 NLP 功能至关重要,以便这些功能可以以人们期望 AI 系统执行的规模和速度运行。SAS 在全球拥有一支由语言专家组成的团队,他们在开发 NLP 功能方面提供人类专业技术。当前具有开箱即用 NLP 功能的语言包括:阿拉伯语、汉语、克罗地亚语、捷克语、丹麦语、荷兰语、英语、波斯语、芬兰语、法语、德语、希腊语、希伯来语、匈牙利语、印地语、印度尼西亚语、意大利语、日语、哈萨克语、韩语、挪威语、波兰语、葡萄牙语、罗马尼亚语、俄语、斯洛伐克语、斯洛文尼亚语、西班牙语、瑞典语、他加禄语、泰语、土耳其语和越南语。AI 和人类专业技术最佳实践是将自然语言处理、机器学习和人类输入相结合来分析非结构化文本数
11、据。人类专业技术为准确分析提供指导,而机器学习可以帮助分析轻松实现扩展。文本处理的基本阶段包括解析、发现和组织、提取和解释。使用自然语言处理分析数据时,机器必须首先将非结构化文本数据拆分为可理解的有用单元。这是解析的第一步,称为词语切分。如果使用语音输入,机器必须先将语音转换为文本,再进行进一步处理。阿拉伯语中文克罗地亚语捷克语丹麦语荷兰语英语波斯语芬兰语法语德语希腊语希伯来语匈牙利语印地语印度尼西亚语意大利语日语哈萨克语韩语挪威语波兰语葡萄牙语罗马尼亚语俄语斯洛伐克语斯洛文尼亚语西班牙语瑞典语他加禄语泰语土耳其语越南语NLP 的全球语言支持说相同的语言自然语言处理8TOC借助 SAS 视觉文
12、本分析将自然语言处理、机器学习和语言规则结合在一起然后,自然语言处理进行进一步的解析,应用语言分析从文本中提取特征,例如词根词、词性变体、句子边界、词性、名词组、句法结构等。用于识别人类语言中有意义的片段和关系的所有这些处理均可以使用基于机器学习的模型或基于语言规则的模型来执行。但是,使用这两种方法的混合模型通常表现最佳。除了机器学习,通过循环神经网络建模(特别是长短期记忆和门控循环单元)进行深度学习的应用还可用于时间序列预测、文本生成、语音转文本和其他 NLP 任务。可以以语言规则的形式添加人类主题专业知识,以提高模型的准确性。机器学习可以通过利用半监督学习来基于人工输入实现标记数据到训练数
13、据的自动化,从而帮助减少人工模型的构建工作。自然语言处理的下一个阶段侧重于不同层次的分析。发现和组织数据的过程将重点放在整个文档或文档级别的可用信息上,并且可以生成新的信息,例如网络、群集、主题以及文档级别的情感和类别。提取和解释数据的过程将重点放在子文档级别的信息,并通过将文档中包含的信息转换为更具机器可读性的状态以使其均有可访问性。这些过程创建了实体信息、信息片段之间的详细关系,甚至是意义元素的解释。生成交互收集导出转换预处理和解析预测专家和解释发现和组织nlpnlpnlp/nlunlpnlp/nlg文本处理的基本阶段自然语言处理NLGNLUNLP自然语言生成自然语言理解说相同的语言自然语
14、言处理9TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起SAS 为所有受支持的语言提供了将机器学习与 NLP 功能(例如标记化和语法)结合使用的能力。虽然机器学习是构建 NLP 模型不可或缺的一部分,但将这些机器学习模型部署为基于规则的系统可以提供更高的透明度、更轻松的监控,以及更快的处理速度。例如,分析人员可能选择使用语言规则方法来构建透明的高性能文本分类模型,以便对电子邮件消息进行快速分类,并自动将这些消息实时发送到相关联系人。手动创建语言规则非常耗时,但是机器学习可以从大量分类数据中提取最相关的关键字和序列,并应用语言规则模型。这是一种功能强大的主动学习方法,
15、分析人员可以同时使用这两种方法(语言规则和机器学习)。特定于域的用户定义规则与机器学习方法相辅相成,可快速提高整体精度和调用能力。这些模型被作为透明的语言规则模型来实施,这在需要定期追溯和审计的组织中通常是 首选。自然语言处理的输出、机器学习和人类的输入种类繁多,从主题发现到实体提取再到分类或情感分析。这些过程之后可被用于检测新兴趋势、进行预测分析、提供运营洞察或创建与信息交互的会话系统,例如聊天机器人。机器学习创建的预测模型使用自然语言处理的输出来自动生成洞察。无论目标如何,人类和机器都必须使用自然语言处理技术才能说出同一种语言,并最终在被分析的数据中找到含义。自然语言处理(NLP)发现 上
16、下文 主动学习NLP 和机器学习非结构化文本数据机器学习人类输入主题发现、信息提取、分类、情感分析新兴趋势、预测分析、运营洞察、自动总结、语义搜索、聊天机器人说相同的语言自然语言处理10TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起沟通的科学自然语言处理如何将字词转换成数字后再次转换回字词。通过自然语言处理,我们能够利用计算机处理的能力和速度浏览非结构化文本中大量的人类字词、反馈和观点,从而更好地了解我们周围的世界。在传统的人类对话环境中,一家为数百万客户提供服务的企业不可能有效地与每一位客户进行交谈并倾听他们的意见。由于我们经常通过数字方式进行交流,因此我们能够
17、利用人工智能来快速识别最重要的内容,其速度超过了人类识别的速度。这有助于按照相关人员的需要为其提供正确的信息。但是,尽管机器在处理数据和分析趋势方面的速度更快,但人类在解释重要性方面几乎总是更加准确。从字词到数字再到字词 对于训练和推断,机器学习算法希望其输入是数字向量,而不是纯文本。这意味着,为了让计算机处理非结构化文本,必须首先将该文本转换为数值表示形式。处理数值表示形式,然后将输出转换回人类可以理解的文本表示形式。这是教机器如何理解自然语言的科学依据。从字词到数字的过程迂回曲折,包括将标点符号、字符和数值的字符串分解成有意义的分析单元,确定重要的特征和不重要的惯例,将相关部分连接在一起为
18、大量非结构化文本提供洞察,以及以一种易于理解的方式将这些洞察呈现给人类,让他们能够做出数据驱动的决策。运用算法教机器阅读和解释人类语言的科学依据精细而又复杂。从业务角度来看,NLP 功能可以分为五个一般领域:预处理;解析数据;分析趋势(发现和组织);提取信息;以及开发会话系统(解释和生成)。预处理当文档集合包含非常庞大的文档,或者集合包含多种文档类型时,从数据中消除一些噪音或对非句子数据进行规范化以使内容更加清晰,可以使下游模型更易于构建、维护和更准确地应用。拆分:识别文档的相关部分,或将每个文档拆分成独立的部分,可以集中分析重要部分或使相关概念变得清晰。删除重复:删除相关文档集或对其进行分组
19、可以消除冗余并减少对基于统计的分析的影响。规范化:澄清或清除非标准或非句子数据可以在解析和其他下游分析中获得更好的结果。分层:另一款工具,用于帮助将工作集中在语料库的特定区域,或者提供应用模型的数据的子部分。解析数据在分析大量数据之前,将数据分解成多个区块并提供人工框架供机器进行大规模分析至关重要。解析将文本分为字词、短语、标点符号和其他含义元素。SAS 使用多种方法来解析任务,这些任务也可能因语言而异,包括正则表达式、监督学习模型以及人类制定的规则和字典。这些操作大多数是基于规则的,利用沟通的科学自然语言处理12TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起特定
20、语言的语言专业知识。SAS 为所有受支持的语言提供开箱即用的解析操作 功能。词语切分:将字符序列(例如句子或文档)切分成单独的句子、字词或语素,然后用作词性标注的输入。词干提取:将字词转换回其基本形式。“不管别人怎么说,文字和思想的确能改变世界。”“No matter what people tell you ,words and ideas can change the world .”输入输出-Robin Williams-Robin WilliamsShe knew the plan needed to change.代词He got change at the store.动词文章名词
21、动词介词has,had,havent have 拼写错误分析:将拼写错误的字词与包含正确拼写文本在内的一组变体进行关联。基于编辑距离和上下文,可以使用字典进行增强。词性标记:根据字词的定义和上下文对其进行语法分类。随着深度学习的进步,可以通过循环神经网络帮助实现词性标注的自动化。句子边界歧义消除:确定句子的开始和结束位置。为了处理不明确的情况,例如缩写、句子边界不明确的语言或文本,无监督的机器学习算法可以增强基于正则表达式的方法。o 贷款过程很简单,我在几分钟之内便获得了批准。我不喜欢我的信息被共享,这两天里我收到 30 封 垃圾邮件和不间断的推销电话。相关性解析:通过应用深度学习算法,分配句
22、子中字词之间的句法关系。输入:我想要风景最秀丽的露营地。输出:沟通的科学自然语言处理I want the most scenic campsite.代词限定词副词形容词名词标点动词 子句分析:结合监督机器学习和语言规则来识别子句边界。o 食物很棒,但是服务太糟糕了。13TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起分析趋势在发现过程中,自然语言处理和无监督机器学习可以通过自动提取在一组文档中相互关联的术语和主题来帮助揭示数据趋势。人类设计的分类系统还可以组织数据,以发现文档中的趋势和模式。奇异值分解:提供文档中字词出现次数或字词出现频率的矩阵。潜在狄利克雷分布:允
23、许未观察到的组解释观察结果集,以说明为什么数据的某些部分是相似的。分类:通过基于规则的分类规则或监督机器学习,可以将文档、句子、段落归为一类。情感(文档级别):一种将文档分类为正性、负性和中性存储桶的类型。词嵌入:创建将词汇放置在空间中的数字坐标,将使用方式类似的词聚集在一起。沟通的科学自然语言处理14TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起功能提取0.10.30.20.20.1 框架 1 框架 20.40.20.3 框架 N0.5 功能 1 功能 2 功能 M声学模型0.30.10.20.60.4 框架 1 框架 20.20.40 框架 N0.1ABZ语言
24、模型“HELLO WORLD”0.9HELLO WORLD0.4HELLO WORD0.2HOLLOW WORLD语音转文本沟通的科学自然语言处理提取和解释信息信息提取会从非结构化或半结构化文本数据类型中自动拉取结构化信息,以创建新的结构化文本数据。这包括诸如实体识别、关系提取和指代消解等任务。摘要解释了较大文本的含义,以确定重要的组成部分,并为同一消息制定较短的版本,或者将一组相关文档压缩为聚合报告。名词组:识别有助于区分上下文中特定含义的中心名词和相关实词。o 细心的门卫在听到这件事后立即关上了大门。实体识别:提取文本元素并将其分类为预定义的组,例如人员姓名、组织、位置、时间表述方式、数量
25、、百分比等。规则生成:使用半监督机器学习从选定的词汇自动创建实体识别规则.情感分析(子文档级别):识别文本中的主观信息并将其标记为正面、负面或中性,并将该信息与某个实体进行关联。文本摘要:在单个长文档或一组相关文档中自动提供重要概念的摘要。15TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起沟通的科学自然语言处理NLP 建模方法 2019 SAS Institute Inc.,美国北卡罗来纳州 Cary 市。保留所有权利。110353_G99466US.0619提取和解释信息开发会话系统名词组(区块)聊天机器人 基于规则、监督机器学习和/或深度学习语音转文本 基于规
26、则、监督机器学习和/或深度学习分析趋势解析预处理奇异值分解基于规则和/或监督机器学习基于规则、监督机器学习和/或深度学习无监督机器学习无监督机器学习监督机器学习、无监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习和/或深度学习基于规则、监督机器学习、无监督机器学习和/或深度学习拆分 基于规则和/或监督机器学习删除重复 基于规则和/或无监督机器学习正规化 基于规则、监督机器学习和/或
27、深度学习分层 基于规则和/或无监督机器学误拼分析词性标记句子边界歧义消除潜在狄利克雷分布词嵌入分类情感分析(文档级别)实体识别规则生成情感分析(子文档级别)文本摘要词语切分 基于规则、监督机器学习和/或无监督机器学习词干提取 基于规则、监督机器学习和/或深度学习依赖关系解析 基于规则、监督机器学习和/或深度学习子句分析 基于规则、监督机器学习和/或深度学习开发会话系统自然语言处理功能旨在简化人类与计算机之间的交互,这一交互过程通常被称为对话式 AI。会话式 AI 主要专注于自然语言理解和自然语言生成的应用。聊天机器人:使用聊天机器人,计算机可以通过口头或书面语言理解并响应人类输入。可以对它们进
28、行编程以响应简单的关键字或提示,或者处理关于特定主题的复杂会话。聊天机器人的复杂程度各不相同,从使用关键字匹配的信息检索到主动学习功能,后者会根据先前的会话提供深入的响应和量身定制的建议。语音转文本:语音转文本功能可以识别口语,然后将语音转换为文本格式。翻译成文本后,可以使用自然语言处理提取信息和分析该文本内的模式。在该过程中,首先会提取特征,然后机器会将音频文件分解成为短帧进行分析。接下来,通过声学模型预测语音及其所代表的字母之间的对齐方式。然后将声学模型产生的值输入到语言模型中,以便该语言模型使用 NLP 将这些值转换成字词和短语。16TOC借助 SAS 视觉文本分析将自然语言处理、机器学
29、习和语言规则结合在一起自然语言处理的实际效果多个行业如何通过自然语言处理提供更好的产品和服务并提高效率。人们希望被倾听。无论是报告服务问题的客户,寻求医疗帮助的患者,还是与政府代表联系的公民,人们越来越多地以数字形式进行联系,因为技术使沟通变得更加 便捷。无论接触点如何发生(面对面、通过电话、电子邮件、社交媒体或是网络聊天),重要信息正在涌入您的组织,您需要及时了解正在发生的事情,以便做出正确的决策。自然语言处理的实际效果:提供更好的产品和服务 自然语言处理在用于分析公司及其客户之间的通信流时非常有效。该分析提供了实时洞察,可用于提高所交付产品和服务的整体质量。例如,一家乳品公司希望使用呼叫中
30、心数据来了解产品质量和客户流失率,但在面对涌入的大量数据时,却不知所措。公司使用自然语言处理来帮助从数据中提取关系并进行分类,随后很快发现了一种趋势,人们都在抱怨“奶上有浮油”和“看起来不 对劲”。公司通过快速识别并深入研究问题意识到,在机器校准中出现了人为错误,并且该错误导致一批牛奶未经过均质处理。该错误是使用自然语言处理发现的,使得公司能够在生产更多非均质牛奶之前对该错误进行纠正。NLP 还指出,特定的促销策略正在导致更大的客户流失。公司提供了六个月的免费送货服务,但情感分析显示,在最初的六个月免费送货后,向客户收取送货费让客户感到非常不满。事实证明,提供送货服务折扣而不是在有限的时间内提
31、供免费送货服务,可以提高客户保留率以及对公司产品和服务的总体满意度。在另一个示例中,一家为超过 100 万客户提供服务的电信公司需要一种更加主动的方法,以四种不同的语言处理 10,000 多个日常服务呼叫。IT 部和业务用户聚在一起确定用户需求,定义相关关键字并开发了每日报告仪表板以反映领导需求。应用自然语言处理几乎可以与呼叫中心的人类文档同时显示关系并提供解决方案。这样,呼叫中心的员工便可以获得第一通呼叫的正确答案以满足客户的需求。除了呼叫中心反馈,还创建了每日报告仪表板,以使用社交媒体分析来评估客户趋势和反馈。这使企业通讯团队可以更好地了解客户,从而有针对性地制定更加准确的营销计划。提高组
32、织效率 自然语言处理还可以用于完善内部流程并提高运营效率。这种效率可以通过以下形式来实现:更改培训标准、更集中的数据访问甚至使用智能聊天机器人来进行分析。例如,一家旨在通过提供高于同行的服务质量来更好地满足客户需求,最终赢得客户信任的银行,推出了一个在线门户网站,使客户可以通过网络聊天与人类代理进行 沟通。该银行平均每个月通过门户网站进行 25 万次网络聊天会话,并在每次网络聊天之后进行一次客户满意度调查。通过人工分析,该银行每个月只能进行 200 次网络聊天。自然语言处理有助于将这项工作扩展到所有每月 25 万次网络聊天,并提供了洞通过倾听来理解自然语言处理18TOC借助 SAS 视觉文本分
33、析将自然语言处理、机器学习和语言规则结合在一起察,以帮助确定代理处理得较好的主题以及需要改进的领域。通过该数据,团队负责人可以查看每个代理的表现,并评估他们的优缺点,从而制定有针对性的培训。此外,NLP 应用程序还显示,在后续调查中,表现出情绪高昂的网络聊天并不总是获得积极的满意度得分。尽管这种差异可能会让代理感到沮丧,但 NLP 发现,在许多情况下,满意度得分较低的原因是因为相关问题超出了代理的控制范围。例如,如果客户想要立即取消直接借记,代理可以在网络聊天期间更新系统,但是内部系统需要额外的一天时间来处理取消,这使客户感到恼火和不满。通过此类反馈,负责人可以了解客户满意度低下的根本原因,并
34、调整流程以解决问题并提高客户满 意度。在另一个示例中,大型太阳能发电厂的设施经理需要一款工具,以便在远离计算机时监控太阳能电池板。通过移动界面载入的聊天机器人旨在分析来自太阳能电池板的实时流数据。设施经理现在可以使用智能手机要求聊天机器人报告设备状态,提供每个电池板的能量生成情况并制定每天、每月或每季节的能量输出摘要。借助移动聊天界面,技术人员扩展了自身的能力,他们可以在外出重启电池板或在极端天气条件下监视电池板状况时查询应用程序了解情况。这样一来,分析便触手可及,员工可以在需要时访问所需信息。通过倾听来理解对于人类来说,每天聆听 10,000 个客户来电并满足每位客户的需求是不可能的。将呼叫
35、者转接到不同的组,试图找到正确的答案,这一过程会给客户带来不悦的体验。要想给您的员工提供及时解决问题的正确工具,获得自然语言处理的支持是不二之选。机器可以处理大量呼叫中的细节问题,提供实时洞察,并基于两个人之间自然对话流的节奏来建议下一个最佳行动。这意味着技术可以通过在第一时间找到正确答案来实际改善人类的体验,而不必牺牲与客户的个人联系和关系。通过倾听来理解自然语言处理19TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起自然语言处理的 9 个最佳实践大规模构建和部署 NLP 模型的技巧在 AI 系统的设计和实现过程中,自然语言处理是促进理解和加强人机协作的桥梁。自然
36、语言处理需要人类和机器的大量智能和能力才能有效实施。切实管理不断增长的非结构化文本量以及有效构建和管理各种 NLP 模型的能力,在很大程度上取决于拥有灵活的体系结构和可以扩展以满足运营需求的强大处理能力,同时还要确保所有数据和数据的治理和安全。除了自然语言处理外,SAS 还提供四个其他核心 AI 功能:机器学习和深度学习;计算机视觉;预测,以及优化。但是,仅靠实施核心功能力还不足以从算法中获取价值。要想超越单一功能,不仅要创建整个 AI 系统,还要使其投入运营,这就需要使用分析生命周期。最基本的 AI 元素是数据。分析的输出与输入几乎匹配,因此全面的数据管理是成功的必要组成部分。可视化对于发现
37、数据和分析、创建直观的仪表板以及轻松地将结果传达给各利益相关者来说至关重要。发现是 AI 技术的发展方向,在此过程中会使用分析 数据管理可视化 部署 决策支持机器和深度学习计算机视觉预测优化 自然语言处理数据发现部署智能语言自然语言处理来将数据转换为智能。核心 AI 功能可以独立使用,也可以与其他 AI 技术结合使用,以基于数据类型和业务需求发现洞察。将 AI 模型部署到生产中就是实现价值的时候。借助 SAS,您拥有了强大的模型管理功能,无论您要部署一个模型还是数千个模型,均可轻松实现。通过统一的平台,模型可以进行一次构建并部署到任何地方而无需重新编码,从而节省了大量时间和精力。SAS 的自然
38、语言处理SAS 的自然语言处理功能也受整个分析生命周期的支持。SAS 摄取、清理和转换数据以进行分析,通过本地或远程文件系统、关系数据库和云存储轻松接收多种文件格式。SAS 平台提供多线程并行处理,以在支持云的开放式架构上进行内存分析。REST API 允许灵活的集成,用户可以选择使用 SAS、Python、R、Java、Scala 或 Lua 进行编码。数据,模型沿袭和治理允许用户在分析生命周期内维护对数据管理和分析的访问和控制。21TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起追溯和监控可视化选择的编程语言开放架构和 REST API云准备基于内存分析多线程并
39、行处理分析生命周期SAS 平台上的 NLP 本地文件系统 远程文件系统 云存储 关系数据库 多个文件格式 音频文件 词语切分 词干提取 词性标记 摘要 主题发现 分类 情感分析 信息提取 语音转文本 聊天机器人 数据库中 Hadoop 中 流传输 模型生命周期管理 决策管理 透明度和可解释性数据发现部署SAS 平台上的 NLP 功能受中央处理单元(CPU)和图形处理单元(GPU)的支持。SAS 还提供了分析存储(ASTORE)功能,它是用于表示特定模型或算法中的评分逻辑的二进制文件。通过这种紧凑的资产,可以轻松移动分数代码并将其集成到现有应用程序框架中。ASTORE 是使用模型开发训练阶段的结
40、果创建的,可以轻松地从一个主机传输到另一个主机。NLP 模型可以通过完整的生命周期管理部署在数据库、Hadoop 和流中。智能语言自然语言处理构建和部署 NLP 模型的最佳实践 SAS 平台提供了大规模构建和部署自然语言处理模型所需的架构。作为基于文本的 AI 平台的领导者,SAS 创建了一份快速清单,列明了构建和部署 NLP 模型时需要考虑的事项。22TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起1.确定并明确说明您的 NLP 应用程序的目标。2.收集技术和业务用户,以确定关键词汇和仪表板要求。3.确定给定数据类型或行业所需的任何监管指南。4.创建标准分类法。5
41、.为您要测量准确性的分类法中的那些项目提供黄金数据集。6.确定是否需要利用深度学习和图形处理单元。7.确定需要分析的数据源和节奏。8.创建用于构建模型的最佳实践管道。9.制定用于模型管理的安全和治理流程。智能语言自然语言处理人和机器智能之间的通信链接自然语言处理是人类与机器之间的通信链接。它需要人类和机器双方支持才能有效工作。NLP 有效改善我们的生活和工作方式。如果没有人与技术之间的合作,进展就会变得缓慢和困难。看看您的组织,想想看您收集的非结构化文本或音频数据以及可能它可能包含的启示。这些数据反映了您所服务的客户的反馈,并且有可能帮助您提供更好的体验、改善护理质量和提高人类参与度。您的非结
42、构化文本数据中包含了许多震撼的故事,而找到它们的最佳方法就是运用自然语言处理功能。最佳实践清单23TOC借助 SAS 视觉文本分析将自然语言处理、机器学习和语言规则结合在一起关注我们:借助 SAS 可视化文本分析在您的非结构化文本中找到您所需的信息SAS 和 SAS Institute Inc.的所有其他产品或服务的名称是 SAS Institute Inc.在美国和其他国家/地区的注册商标或商标。表示在美国注册。其他品牌和产品名称是其各公司的商标。版权所有 2020 年 SAS Institute Inc.保留所有权利。111187_G119277.0120与当地 SAS 机构联系,请访问: