《Sunny-张辉大模型落地面向企业级客户服务场景的实践.pdf》由会员分享,可在线阅读,更多相关《Sunny-张辉大模型落地面向企业级客户服务场景的实践.pdf(34页珍藏版)》请在三个皮匠报告上搜索。
1、大模型落地面向企业级客户服务场景的实践Sunny Zhang 浪潮信息演讲嘉宾Sunny Zhang 浪潮信息 大模型高级产品经理 博士研究生,浪潮信息人工智能与高性能应用软件部高级产品经理,源大模型产品负责人。长期从事高性能计算和人工智能计算的创新与产品化工作;参与国家级自然科学基金3项,省部级科技进步奖6项;发表国内外SCI、EI期刊及会议论文10余篇。目 录CONTENTS1.大模型已落地ToC客户服务2.ToB客户服务的特点和痛点3.大模型落地ToB客户服务的解决思路4.源1.0落地ToB客户服务的技术实践大模型落地ToC客户服务PART 01智能客服是企业最希望AIGC落地的场景人工
2、坐席数量庞大,工作强度大,企业成本高。根据CC-CMM行业标准的统计,2022年呼叫中心总座席数约为135万。人工坐席每天接听电话几十个到几百个,一通电话成本可能高达几十元。企业急需要降本增效,智能客服市场规模大。企业沙利文2023年中国智能客服市场报告指出,2022中国智能客服市场规模达到66.8亿元,预计到2027年市场规模有望增长至181.3亿元。目前智能客服机器人水平有限,客户体验差,转人工量不减反增。根据CC-CMM对近200家企业的调查显示,实施智能语音之后,有超过三分之一的企业热线,转人工量不减反增,对人工座席反而造成更大的话务压力。上海市消保委2022年投诉情况通报人民网-人民
3、日报(2023年05月23日)传统智能客服被诟病的地方成本高天花板低起点是人工建知识库“有多少人工,就有多少智能”“那么多人工,还是没多少智能”本质上是搜索匹配任务知识库.知识谱图库表格库FAQ库我在直播间买了东西已经收到货了,但是没有收到中奖的奖品。您好,直播间中奖奖品满足派发条件后,正常是在7个工作日左右发出,还请您耐心等待。已经超过7天了啊您好,商品标签等完整的情况下,我们支持7天无理由退货。我不是退货啊是没有收到直播间的奖品。您好,直播间中奖奖品满足派发条件后,正常是在7个工作日左右发出,还请您耐心等待。怎么回事对不起,我不太明白您的意思您可以尝试换一种方式提问以ChatGPT为代表的
4、LLM成为智能客服“智能”的新希望答不出听不懂话答不准、答不全、答太多全都能答听得懂答的合适传统客服机器人基于LLM的客服机器人人工建库分而治之统一基座整体治之我在直播间买了东西已经收到货了,但是没有收到中奖的奖品。您好,直播间中奖奖品满足派发条件后,正常是在7个工作日左右发出,还请您耐心等待。已经超过7天了啊您好,商品标签等完整的情况下,我们支持7天无理由退货。我在直播间买了东西已经收到货了,但是没有收到中奖的奖品。您好,很抱歉让您遇到这个问题。通常情况下,如果您在直播间中奖,我们的工作人员会在直播间里联系您并核实信息,然后为您发放中奖奖品。请您确认一下,在直播间是否有我们工作人员通知您中奖
5、的信息?对呀,我是在你们直播间中奖的,工作人员也联系过。感谢您提供这些信息。由于物流等各种原因,可能会有些许延误,请您耐心等待一下,我们会尽快跟进处理。大模型已有ToC客服服务的落地案例业界已有不少企业尝试基于ChatGPT来搭建智能客服机器人微调行业大模型:采用行业数据、客户服务数据进行再训练和微调,得到垂直领域大模型角色设定(Prompt工程):用文字来进行角色的设定,将ChatGPT设定为客服角色嵌入(Embedding):将文本转换为一个向量,去企业向量数据库进行检索,检索出相关内容插件:识别出实体和关键词,采用外部插件,获取到相关信息部分或全部使用了这几种方法,而且对应每种方法目前也
6、有一些开源的框架工具。微调Prompt工程Embedding插件如,银行的智能客服可以基于基础模型引入行业数据、企业数据、客户服务数据进行模型再训练和微调如:你是某电商XX公司的客服,你们公司的产品为XXX,你的职责是为顾客提供24小时在线答疑服务。你善于倾听客户需求、细致耐心地解答问题,总是以最佳的用户体验为出发点去工作。如:问:给我推荐一下最近比较流行的口红?可以先根据“问题”检索对应的产品库,然后根据这些背景信息,让模型给出合适的回答。如搜索引擎、天气插件等问:根据最近全国的天气情况,给我规划一份旅游出行计划,出游时间是7天。学习领域新知识激发能力扩展领域信息扩展能力边界大模型已有ToC
7、客服服务的落地案例LLM引入到现有客服系统,可以在原有客服系统基础上,优化客服系统功能以及提高客服机器人回复质量。资料来源:LiveChat,ChatBot,HubSpot,OXYGEN,容联七陌,多客,国海证券研究所大模型已有ToC客服服务的效果咋样问答不错,对话不行;通用知识不错,专有知识不行说明示例单轮问答不错对于用户问题理解力强,并且能够给出较丰富的答案多伦对话不行受限于模型输入的长度,以及对于对话策略的掌握通用知识不错LLM+Web检索,具备丰富的开放域知识专有知识不行依赖于向量知识库的丰富度,检索的准确度,以及模型对于专有知识的理解力总结摘要不错根据内容进行总结不错知识推理不行根据
8、文本内容进行推理的能力有限ToB客户服务的特点和痛点PART 02ToB与ToC的客服服务有什么区别C端用户客服B端用户工程师用户都3天了,我怎么还没收到货用户有台服务器,看不到硬盘用户我这个银行卡,为啥转了5000元就不让转了?用户你好,这台服务器NF5468M6,安装redhat7.9 找不到硬盘,请问这个型号raid卡驱动在哪里有下载专业度要求高场景更复杂对话轮次更多ToB与ToC的客服服务有什么区别n 专业度要求高、场景更复杂用户问题专业度高 售后侧用户咨询和报修非常专业、解答难度较高;智能客服对于用户提问存在理解偏差,导致答非所问;智能客服呈现给用户的答案过于冗余,还需用户定位。用户
9、问题难度较高交互体验表现不佳解决率易进入瓶颈人工训练高价低效效果提升遭遇瓶颈行业领域越专业越细分,人工训练成本就越高;人工训练需要维护FAQ、任务式等多个知识库多个小模型,效率低下,标准也难以拉齐;浪潮售后侧用户问题解决率的提升进入瓶颈期,亟待模式革新。000.00%10.00%20.00%30.00%40.00%50.00%60.00%70.00%2019年5月2019年12月2020年6月2021年1月2021年7月2022年2月2022年8月2019.9-2022.6 智能客服机器人解决率解决率投入量FAQ解构重组任务式对话引入源大模型接入提升瓶颈期对话刻板不自然,
10、仅能解决简单咨询问题全平台咨询报修全平台咨询单模态咨询单模态简单咨询对话刻板不拟人大模型落地ToB客户服务的解决思路PART 03落地场景IT企业的ToB客户服务落地场景:浪潮信息客户服务部门的智能客户服务系统,浪潮信息是全球领先的IT基础设施产品、方案和服务供应商,致力为用户提供各类智慧计算解决方案,客户服务部门承担着公司支持浪潮信息服务器、存储、边缘计算等八大产品线的产品售后服务,包括技术、产品、故障、服务四大类1000多个细分场景问题。客户服务系统现状:目前用户接入渠道有400电话、IM对话系统(微信公众号),有人工坐席、文本机器人(IM对话机器人)、语音机器人、数字人。IM对话机器人经
11、过两年多的人工训练,其问题解决率的提升速度逐步放缓趋平,人工成本投入却持续攀升,边际效用递减显著;与此同时,IM对话(实时通信)在整个咨询报修中的占比提升也遭遇了瓶颈,热线工程师每天仍然要面对海量的电话咨询。补充赋能替代现有客户服务系统补充:离线使用,补充现有客户服务系统知识库、工单的内容,减少人工工作量赋能:在线使用,增加现有客服系统中的功能,提高整个客服系统的智能化水平替代:在线使用,替代语音机器人、文本机器人、替代人工坐席补充时效性、准确性要求低的场景任务1:FAQ生成:基于文档资料库,自动生成(问题,答案)对,扩充FAQ任务2:相似问生成:基于基础问题,自动生成语义相似表达不同的相似问
12、题任务3:话后整理自动填写:基于客服服务对话流,自动生成话后整理的工单字段,包括问题描述、咨询过程描述、问题分类标签和解决方案分类标签。FAQ自动生成人工审核赋能准确性要求低的场景任务1:对话总结:转人工时,基于对话流,自动生成摘要总结,供人工坐席参考任务2:坐席助手:基于对话流,自动生成知识推荐内容,供人工坐席参考任务3:文档阅读问答:针对用户问题,基于文档阅读理解的问答。作为机器人的兜底回复方案。对话总结坐席助手自动生成选择采纳文档阅读问答替代时效性、准确性要求高的场景任务1:语音机器人、文本机器人:基于大模型实现单模态的客服对话机器人任务2:多模态机器人:基于大模型实现多模态的客服对话机
13、器人单模态机器人:用户输入的内容不包含图片,在进行语义检索、机器人生成时也不包含图片。但可以将原有文档中的图片作为辅助内容输出。传统的语音机器人、文本机器人都是单模态机器人。多模态机器人:用户输入的内容包含图片、或含有图片的文档,机器人可以理解图片,基于图片进行语义检索,生成的内容主要是文本,附带的图片来自于知识库,而不是由模型进行生成。是否能理解图片和视频源1.0落地ToB客户服务的技术实践PART 04基于文档阅读的问答技术实践基于文档阅读的问答流程1.文本分块,按规则进行分割(段落、句子结尾、字数控制)2.文本转向量,采用text2vec基础模型text2vec-large-chines
14、e进行微调过的模型3.向量数据库:Faiss4.query:并不是所有用户消息都是query,只有关键词匹配到的才被认为是query5.Prompt模版,根据任务场景,人工进行的撰写6.评测:随机抽取,人工标注是否正确n 核心是语义编码和检索,依赖于人工编写prompt模版,精度会累积影响基于文档阅读的问答技术实践基于文档阅读的问答流程存在的问题:1.文档内容识别,文档的格式多样,含有众多的图表,仅采用OCR、图片理解模型不能把所有信息识别到,目前仅保留了文本,抛弃了其他内容。2.文本分块,目标是完整的知识点,但仅仅采用规则来进行分块,存在知识点被分割、不完整的情况。3.大模型,目前存在pro
15、mpt敏感,生成领域结果不准确的现象,同时推理时间长,无法支持在线的多路并发。最终结果,离线平均65%,在线平均45%,可作为组件补充到现有的机器人中。n Pipeline的流程已走通,但每个步骤都还存在技术上的挑战,整体精度有待提高基于文档阅读的问答技术实践n 分步骤说明-文档内容识别内容识别数据处理3.6 物理结构图 3-7 物理结构图编号 模块名称 编号 模块名称1 前置硬盘模组 13 电容板2 中置硬盘模组 14 后置3.5英寸硬盘模组3 风扇模组 15 散热器模组4 导风罩 16 后置2.5英寸硬盘模组5 机箱上盖 17 后置M.2模组6 后置2.5英寸硬盘模组 18 后置E1.S模
16、组7 右侧转接卡模组(8卡配置)19 内存8 中间转接卡模组(8卡配置)20 主板9 左侧转接卡模组(8卡配置)21 右侧转接卡模组(11卡配置)10 GPU模组(4GPU配置)22 左侧转接卡模组(11卡配置)11 电源模块 23 机箱12 转接卡模组(4GPU配置)24 前置硬盘背板仅识别文本标题1:浪潮英信服务器 NF5280M6 用户手册 V1.4标题2:物理结构段落:1 前置硬盘模组 13 电容板2 中置硬盘模组 14 后置3.5英寸硬盘模组3 风扇模组 15 散热器模组4 导风罩16 后置2.5英寸硬盘模组5 机箱上盖 17 后置M.2模组6 后置2.5英寸硬盘模组 18 后置E1
17、.S模组7 右侧转接卡模组(8卡配置)19 内存8 中间转接卡模组(8卡配置)20 主板9 左侧转接卡模组(8卡配置)21 右侧转接卡模组(11卡配置)10 GPU模组(4GPU配置)22 左侧转接卡模组(11卡配置)11 电源模块 23 机箱12 转接卡模组(4GPU配置)24 前置硬盘背板添加标题、段落标签文本处理(删空格、换行等)基于文档阅读的问答技术实践n 分步骤说明-文本分块因源1.0支持的输入tokens为2048,加之ToB客户服务的知识点教长,文本分块的max tokens设置为512tokens,可以满足top3的语义相关段落作为背景信息。除了max tokens进行设置,还
18、启用规则匹配(段落结尾)。分词采用结巴分词工具,词表采用源1.0大模型的词表+领域扩展词。具体标题1:浪潮英信服务器 NF5280M6 用户手册 V1.4标题2:常见硬件问题段落:开机不加电故障描述:按电源开关按键后,电源开关按键上的电源指示灯为橙色且不变绿,硬盘活动状态指示灯不亮,同时显示器无显示输出,服务器机箱风扇不转动。处理建议:查看服务器后窗上电源模块指示灯的状态。电源模块指示灯不亮或为琥珀色a.如果电源模块指示灯不亮或为琥珀色,则表示供电异常。请检查电源插座是否能正常工作以及电源线缆是否安插到位,相应电源模块上的供电线供电是否正常;b.确保电源插座可正常工作,电源线缆安插到位且供电线
19、可正常工作后:电源模块指示灯仍就不亮或为琥珀色,则可能为电源模块故障,请使用同型号机器同配置的电源模块更换该电源模块,排查是否为电源模块故障;电源模块指示灯变为绿色,但电源开关按键仍就为橙色,请拨打浪潮客户服务热线(400-860-0011)或邮件联系我们()。电源模块指示灯均为绿色a.如果电源模块指示灯均为绿色,请拔掉供电线,重新拔插电源模块,安插好供电线后再次开机验证;b.如果拔插电源模块测试仍然无效,则使用同型号机器同配置的电源模块更换该机器的电源模块,测试是否为电源模块故障;c.如果以上操作无法解决故障问题,请拨打浪潮客户服务热线(400-860-0011)或邮件联系我们()。加电无显
20、示故障描述:按电源开关按键后,电源开关按键上的电源指示灯由橙色变为绿色,机箱风扇正常转动,但是显示器一直无输出。处理建议:检查显示器是否加电正常;若加电正常,但显示器仍无显示输出,则检查显示器与服务器 VGA 接口是否正常连接;如果 VGA 接口连接正常,但显示器仍无显示输出,则尝试更换显示器测试;如果更换显示器无效,则可能是 VGA 接口异常。请尝试登陆 BMC Web 界面,打开BMC 远程 KVM(具体参考文档请参见固件升级和配置)确认是否显示正常:如果KVM 能正常显示,可能是主板 VGA 接口存在异常,请联系浪潮客服;如果 KVM 不能正常显示,请记录具体的告警信息;如果以上操作无法
21、解决,请拨打浪潮客户服务热线(400-860-0011)或邮件联系我们(),并告知的告警信息和故障现象。文本分块 512 段落结束 句子结束具体标题1:浪潮英信服务器 NF5280M6 用户手册 V1.4标题2:常见硬件问题段落:开机不加电故障描述:按电源开关按键后,电源开关按键上的电源指示灯为橙色且不变绿,硬盘活动状态指示灯不亮,同时显示器无显示输出,服务器机箱风扇不转动。处理建议:查看服务器后窗上电源模块指示灯的状态。电源模块指示灯不亮或为琥珀色a.如果电源模块指示灯不亮或为琥珀色,则表示供电异常。请检查电源插座是否能正常工作以及电源线缆是否安插到位,相应电源模块上的供电线供电是否正常;b
22、.确保电源插座可正常工作,电源线缆安插到位且供电线可正常工作后:电源模块指示灯仍就不亮或为琥珀色,则可能为电源模块故障,请使用同型号机器同配置的电源模块更换该电源模块,排查是否为电源模块故障;电源模块指示灯变为绿色,但电源开关按键仍就为橙色,请拨打浪潮客户服务热线(400-860-0011)或邮件联系我们()。电源模块指示灯均为绿色a.如果电源模块指示灯均为绿色,请拔掉供电线,重新拔插电源模块,安插好供电线后再次开机验证;b.如果拔插电源模块测试仍然无效,则使用同型号机器同配置的电源模块更换该机器的电源模块,测试是否为电源模块故障;c.如果以上操作无法解决故障问题,请拨打浪潮客户服务热线(40
23、0-860-0011)或邮件联系我们()。加电无显示故障描述:按电源开关按键后,电源开关按键上的电源指示灯由橙色变为绿色,机箱风扇正常转动,但是显示器一直无输出。处理建议:检查显示器是否加电正常;若加电正常,但显示器仍无显示输出,则检查显示器与服务器 VGA 接口是否正常连接;基于文档阅读的问答技术实践n 分步骤说明-基于向量的检索我们试验了几种语义编码模型(Embedding Model),如OpenAI Embeding API、ernie-3.0-base-zh,性能最好的是text2vec-large-chinese。向量检索数据库采用Faiss,原因是Faiss效率较高(平衡了性能和
24、精度),1000w+条知识&单节点,检索时间为1.2s。基于文档阅读的问答技术实践n 分步骤说明-面向场景的Prompt撰写和匹配目前浪潮信息客户服务部已梳理了相对独立的1000+的场景问题,而每个场景问题下又有不同的分支处理流程。如,硬盘不识别问题(一个场景问题),它可能的原因是没有配Raid,没有安装驱动,硬件设备故障(三条可能的分支)。针对用户的单个问题(query),我们实际给到模型的Prompt包含四部分内容:Prompt场景描述+问题相关背景信息+上下文信息+用户问题。其中,场景描述、问题相关背景信息这两部分是可有,而上下文信息和用户问题是必有。场景:硬盘不识别场景模版:当用户遇到
25、的是硬盘不识别的问题,首先要询问用户有没有做Raid,如果确认是没有做Raid,则引导用户去按步骤去做Raid。用户遇到的是硬盘不识别问题,同时已经做过Raid,则需要询问用户是否根据产品型号选择了正确的驱动,并进行安装。每种产品.单模态客服机器人-微调训练1.微调训练流程:目前基于基础通用大模型微调训练垂直领域模型,业界目前通常方法也是自监督预训练-有监督微调-强化学习,最终得到信息行业客户服务LLM。2.数据,目前基座模型预训练数据都在万亿tokens。类别数据量预训练百亿级别tokens(几十G)有监督微调几千几万条/单领域数据来源学科书籍论文、行业网站、行业百科、企业文档、对话数据3.
26、算力,算力与参数规模、训练数据量 成 正 比,可 以 采 用 8 参 数 量tokens来估算计算量(FLOPs)。4.全参数微调VS部分参数微调,算力够用的情况下,建议全量参数微调。通用模型任务模型行业模型强化任务模型预训练预训练SFTRLHF懂语言、懂知识懂专业懂场景单模态客服机器人-客户服务LLM应用现状:LLM、语义检索能力,采用LLM+语义检索+prompt构造的方法实现客服机器人问题:1.需要人工构造每个场景合适的Prompt,成本高 2.偏向于单轮对话、上下文多轮对话,但无法进行启发式对话。用户喂,你好,就是我刚刚打过电话了,就是说我现在装那个那个服务器啊,他现在就是说。不是硬盘
27、到那就到那一步了。说状态,不清晰工程师看不到硬盘是吧。确认问题用户对,是不是缺少那个RAID驱动啊。询问原因工程师有可能,你做RAID吗?启发式问询用户做了,我看上面写的应该是RAID1是。回答,但可能错工程师怎么做的RAID?或者看见的那个时候有什么快捷键的提示。启发式问询用户呃,有个CTRL加A还是加啥,就是能配置他应该是这个是那个集成的嘛,集成的那个主板回答,但矛盾工程师CTRL加A一般不是集成的。说出矛盾工程师与用户的真实语音对话用户喂,你好,就是我刚刚打过电话了,就是说我现在装那个那个服务器啊,他现在就是说。不是硬盘到那就到那一步了。AI非常抱歉听到您遇到了问题,可以请您再具体描述一
28、下遇到的情况吗?用户看不到硬盘AI您的描述,您现在遇到的问题是,在安装过程中遇到了硬盘安装的问题,无法进入下一步。根据您的问题,有几种可能的原因。用户最有可能是啥原因啊?AI根据您的问题描述,最有可能的原因是硬盘没有正确连接或者BIOS设置不正确。因此,我建议您先检查硬盘的连接和BIOS设置是否正确,用户硬盘链接了,我看上面写的应该是RAID1,是不是那个RAID驱动啊。AI如果您使用的是RAID1模式,那么需要安装相应的RAID卡和RAID驱动程序。您可以查看服务器的型号和RAID卡型号,然后下载相应的驱动程序,接着安装。AI与用户的真实文本对话总结、思考和展望我们的总结、思考和展望LLM的
29、总结、思考和展望nToB的客户服务因其对于企业有极大价值,但又因其场景复杂&用户多样,是LLM最值得去探索落地、并且非常有挑战的领域。n目前落地的探索都还停留在,原有NLP解决的问题,现在用LLM再做一遍,并没有突破原有NLP的范围,未来需要更多的突破思维。nLLM固有存在的问题,如幻觉、推理时间长,并没有从根本上解决,增加知识库引入搜索,撰写prompt强化输入引导,都使得系统变的复杂、人工成本增加。未来需要探索在算法层面更大的突破。n道阻且长,行则将至。未来,LLM落地到ToB的客户服务,核心要解决的一是能够深层次的理解多模态的信息和知识,学习到专家工程师沉淀到文档、对话中的经验,能够采用
30、合适地对话策略,像真人一样提供客户服务;二是推理成本和用户体验的问题。目前,大语言模型应用在ToB客户服务场景中的现状是已被广泛使用,成为企业客户服务的有效工具,可用于自动问答系统和智能客服平台,提供快速、可扩展的客户支持服务,并降低企业的成本,提高服务质量和客户体验。但同时还存在一些限制和挑战,例如,复杂或涉及个人敏感信息的问题需要谨慎处理,需要大量的人工和技术投入来构建和改进。未来,大语言模型技术将有如下的进一步思考和展望:-发掘更多的ToB场景,如面向销售和营销等方向,以扩大大语言模型技术的适用范围和商业化。-探索更复杂的对话场景,如多轮对话、人机交互等,以提高服务质量和精度。-结合AI技术的其他分支和新技术的发展,如语音识别、语义理解等,以提高对话质量和便利性。-进一步探索大语言模型技术与其他系统的集成,如CRM、ERP等,以更好地支持企业客户服务,提高效率和准确性。-关注大语言模型技术的可信度和安全性,赋予用户对于隐私保护的可控性等,以促进这一技术的发展和应用。感 谢 聆 听