《【孙凤伟】基于 GPT 的智能客服落地实践.pdf》由会员分享,可在线阅读,更多相关《【孙凤伟】基于 GPT 的智能客服落地实践.pdf(26页珍藏版)》请在三个皮匠报告上搜索。
1、基基于于 G GP PT T 的的智智能能客客服服落落地地实实践践孙孙凤凤伟伟好未来境外分校移动端负责人好未来境外分校移动端负责人曾任职百度、滴滴,2019年加入好未来主要从事移动端产品的研发,近半年重点关注大模型的应用和探索孙孙凤凤伟伟contents问问答答客客服服V V_ _1 1.0 001技术选型、方案设计、数据表现及缺陷总总结结03迭代过程中的一些心得和思考智智能能客客服服_ _v v2 2.0 002技术选型、AutoGPT原理介绍、方案设计、数据表现项项目目概概述述项项目目背背景景 提高客服响应的实时性 验证大模型生产环境的可应用性、跟进新技术0 01 1V V_ _1 1.0
2、 0 问问答答客客服服 基于企业专有知识库的客服系统F Fi in ne e-t tu un ni in ng g:As an analogy,model weights are like long-term memory.When you fine-tune a model,its like studying for an exam a week away.When the exam arrives,the model may forget details,or misremember facts it never read.I In n-C Co on nt te ex xt t l le
3、 ea ar rn ni in ng g:In contrast,message inputs are like short-term memory.When you insert knowledge into a message,its like taking an exam with open notes.With notes in hand,the model is more likely to arrive at correct answers.学学习习方方式式 In-Context learning Fine-tuningV V_ _1 1.0 0 如如何何让让大大模模型型学学会会特
4、特定定领领域域知知识识P Pr ro ommp pt t组组织织方方式式 语料要如何组织 如何匹配到和用户问题相关的语料 token的限制使用下面提供的文本信息尽可能如实回答问题,如果答案没有包含在下面的文本中,请说“我不知道“。信息如下:1、我们(Think Academy)和学而思都是好未来集团下的品牌,我们基于原来在中国的18年教育沉淀,在美国也开设了分校,超过3年多的时间做本地化打磨,为美国孩子专门量身定制课程。2、Think Academy是好未来集团下的品牌,我们延续在中国(学而思品牌)的教学理念和精神,在全球各地开设教学点,服务广大学员。3、Think Academy有很强的研发
5、能力和教学水平,无论是竞赛还是升学,孩子都会有非常的进步和提升。所有课程均致力于提升孩子数学兴趣及潜能,为不同基础和目标的孩子供全方位的数学服务。Q:Think Academy是什么机构?A:V V_ _1 1.0 0 i in n-C Co on nt te ex xt t l le ea ar rn ni in ng 原原始始语语料料结结构构化化语语料料V V_ _1 1.0 0 知知识识库库的的搭搭建建关关键键节节点点 Input向量转化 文本相似度计算与匹配 关键字兜底V V_ _1 1.0 0 全全局局流流程程图图用用户户后后端端服服务务G GP PT T提问回复用户特定结构的消息欢
6、迎语检测中英文配匹对应的语料库发起gpt请求,用户提问转换成向量向量相似度计算根据token数,选取topN的上下文,拼根prompt判断是否有关键字根据prompt和用户的input回答问题点击咨询V V_ _1 1.0 0 线线上上数数据据表表现现V V_ _1 1.0 0 设设计计缺缺陷陷需需要要扩扩展展更更多多的的覆覆盖盖场场景景,如如老老师师咨咨询询、课课程程咨咨询询动动态态信信息息的的维维护护麻麻烦烦,给给业业务务增增加加过过多多的的维维护护成成本本部部分分情情况况下下 c ch ha at tG GP PT T 存存在在自自由由发发挥挥的的情情况况,不不完完全全可可控控0 02
7、2V V_ _2 2.0 0 智智能能客客服服 基于指令识别的智能客服系统V V_ _2 2.0 0 问问答答客客服服升升级级为为智智能能客客服服方方案案一一语料的数据量会增加很多,会导致匹配效率下降语料的相似度很高,会导致匹配准确率直线下降,如老师信息、课程信息等将将业业务务后后台台的的数数据据灌灌到到知知识识库库及及实实时时更更新新的的机机制制方方案案二二用户自然语言向 API 结构化数据的转换(参考 AutoGPT 的思想)将将问问答答客客服服和和业业务务 A AP PI I 接接口口打打通通,直直接接进进行行相相关关数数据据的的检检索索AutoGPT 是一个程序,它利用大模型对自然语言
8、的理解能力,基于用户下达的需求,解析用户的意图并利用 AutoGPT 程序里内置的一些基本能力(如联网搜索、文件的读写、逻辑运算、内存、其他小模型的能力)自主的制定执行计划和多轮迭代,最终来实现用户的需求。A Au ut to oG GP PT T原原理理介介绍绍定定义义内内置置能能力力数数据据结结构构化化记记忆忆缓缓冲冲区区A Au ut to oG GP PT T P Pr ro ommp pt t 组组织织内内置置能能力力A Au ut to oG GP PT T P Pr ro ommp pt t 组组织织数数据据结结构构化化A Au ut to oG GP PT T P Pr ro
9、ommp pt t 组组织织记记忆忆缓缓冲冲区区A Au ut to oG GP PT T P Pr ro ommp pt t 组组织织A Au ut to oG GP PT T 流流程程图图蓝蓝色色部部分分负责生成 prompt 的逻辑黄黄色色部部分分利用 GPT 解析用户意图,选择命令和提取参数白白色色部部分分存储过程数据,为下一轮的迭代提供历史数据文件系统向量数据库用户消息GPT生成消息系统消息搜索文件IO网页数据抓取git clone其他小模型能力用户输入角色说明约束条件生生成成p pr ro ommp pt t解析意图,选择Command及生成参数以固定的json格式返回,以便程序可
10、以解析Command和参数执行Command,将过程数据存储获得result,并将result加入历史消息列表生成下一条prompt存储消息记录物物理理存存储储历历史史消消息息C Co ommmma an nd ds s提提示示信信息息存储数据V V_ _2 2.0 0 方方案案设设计计V V_ _2 2.0 0 整整体体流流程程提提问问和和回回复复的的基基本本逻逻辑辑单单次次提提问问的的分分支支逻逻辑辑用用户户机机器器提问点击咨询欢迎语提问回复回复教导主任联系方式、二维码图片是否触发引导词是是循环提问分分支支1 1-g ge et t_ _t te ea ac ch he er r_ _i
11、in nf fo o分分支支2 2-g ge et t_ _c cl la as ss s_ _i in nf fo o分分支支2 2-r re ep pl ly y_ _i in nf fo o第一次调用GPT判断命令分支为get_teacher_info内部API查询是否存在该老师返回固定回复文本否否是是返回和拼接教师信息第二次调用GPT总结回答,回复文本本轮提问结束第一次调用GPT判断命令分支为get_class_info内部API查询是否存在符合条件的班级否否是是返回固定回复文本是否存在符合条件的班级否否是是返回固定回复文本返回固定的回复模板(文本、班级卡片)本轮提问结束第一次调用GP
12、T判断命令分支不为get_teacher_info或get_class_info语料库匹配返回符合条件的语料(匹配度0.8&tokens2000第二次调用GPT总结回答,回复文本本轮提问结束GPT/内部API的接口调用否否第一次GPT调用命令(commangs)选择判断判断命令分支执行命令第二次GPT调用(基于前一次的调用结果)必填参数是否齐全向用户提问(空缺的参数部分)拼接用户问题和回答第二次调用GPT否否是是第第一一次次G GP PT T调调用用命命令令(c co ommmma an nd d)选选择择判判断断判判断断命命令令分分支支执执行行命命令令第第二二次次G GP PT T调调用用(
13、基基于于前前一一次次的的调调用用结结果果)必必填填参参数数是是否否齐齐全全向向用用户户提提问问(空空缺缺的的参参数数部部分分)拼拼接接用用户户问问题题和和回回答答第第二二次次调调用用G GP PT T否否是是V V_ _2 2.0 0 调调试试数数据据 针对teacher和class分支,尽量提升精确率 针对reply info分支,尽量提高召回率总总结结开开发发思思维维相信大模型很聪明,并尽量让它做更多的事情详细了解各模型能力和参数使用,以及prompt组织形式的设计效效果果调调优优根据业务场景,明确调优方案和目标,做好预期管理模模型型能能力力不不可可控控,但但还还是是要要选选择择相相信信深深刻刻理理解解 P Pr ro ommp pt t e en ng gi in ne ee er T TH HA AN NK KS S