1、演讲人：桑海龙58同城算法资深工程师 2023 个人介绍 桑海龙，58同城TEG-AI Lab算法资深工程师，智能客服算法负责人，2019年10月加入58同城，一直从事智能客服算法研发工作，本硕毕业于哈尔滨工业大学，2017年7月毕业后校招加入猎豹移动，从事对话算法工作。工作经历 19年10月至今 58同城 AI Lab 17年7月19年10月 猎豹移动 教育背景 15年9月17年7月 硕士 哈尔滨工业大学 计算机科学与技术 11年8月15年7月 本科 哈尔滨工业大学 软件工程AI Lab产品能力介绍58AILab公众号公众号58技术公众号技术公众号 业务场景介绍 招聘平台下的对话机器人 算法

2、实现与优化实践 总结与展望业务场景介绍58同城产业化平台简介 第一曲线流量 纯信息分发，收取广告费 第二曲线产业化 产业化就是把整个链条所有的信息流程全部在线化、数字化，并且能够无缝地将上下游协同起来。需要提供客户需要的所有服务，让客户在房产、汽车、招聘、本地服务等领域都能有更高的效率。58同城招聘场景58同城APP赶集直招APP招聘场景的BC连接与意向达成 招聘场景连接路径 微聊 电话 投递 面试 微信 高意向达成行为 连接过程中识别为有意向 连接时长 同意面试 中意向达成行为BC连接与高意向达成的阻碍点BC之间难以触达BC用户活跃周期不一致存在问题引入反向邀约场景留资机器人接待问询智能双呼

3、机器人算法筛选意向用户BC缺少强提醒连接B端消息回复不及时C主观求职意愿不明确C端简历不完善招聘平台下的对话机器人招聘平台下对话机器人应用场景 反向邀约场景 C2B微聊场景对话机器人促成连接达成 快问快答-留资机器人 自动回答C求职问题 帮B多轮问询招聘问题 智能双呼-双呼机器人 推进BC双方电话连接对话机器人简介-留资机器人 按照功能划分，主要包括如下几种 与以回答用户提问为主的QA问答机器人不同，留资机器人的主要任务是引导引导用户留下资料信息用户留下资料信息 留资机器人适用场景 招聘业务-收集用户简历信息，判断用户求职意向 本地服务-问题答疑、收集用户需求信息 解决问题 无人接待时线索浪费

4、 人工接待水平不一，随接待量变化 节省人力成本对话机器人简介-留资机器人留资机器人回答用户问题主动引导询问拟人化交互方式获取用户资料线索QABotTaskBot话术学习槽位识别QA问答机器人对话机器人简介-双呼机器人功能：机器人先外呼A，A接听后机器人再外呼B，B接听后AB直连沟通应用场景：任何通知提醒场景（如IM微聊消息提醒）均可应用机器人C端用户B端用户对话机器人效果评估 会话流畅度（衡量C端用户体验）流畅：本轮对话机器人回复衔接自然，感觉和人工回复相似 不流畅：回答错误/引导不当/重复发问/抢答/其他情况 整轮流畅：一个会话中所有轮都被标为流畅 截止5轮流畅：对5轮及以上会话，截取前5轮

5、都流畅 整轮会话流畅度=整轮流畅会话数/总体会话数 评价AI整体会话能力 截止5轮会话流畅度=5轮及以上流畅会话数/5轮及以上总会话数 评价AI深度会话能力 留资率 定义：IM有意向数/C主动会话数 衡量对话系统留资能力 促进促进BCBC双方高意向达成双方高意向达成 高意向达成转化率：T+1高意向数/C点击数 补充补充C C端用户端用户简历信息简历信息 简历更新率：修改简历数/创建会话数留资机器人效果双呼机器人效果机器人对话案例C端用户回复AI智能回复AI商机引导AI商机识别邀约推送用户求职意向识别留资机器人会话双呼机器人会话算法实现与优化实践留资机器人系统结构 任务型对话任务型对话系统系统Q

6、ABot-作用与实现正确回答能解决用户疑问错答会造成用户体验不佳未召回会错误指引TaskBot，影响体验 QABot在对话系统中有如下作用：QABot依赖知识库的整理构建：意图识别模型如：LSTM、BERT等QABot模型选择-轻量级预训练语言模型SPTM（Simple Pre-trained Model）：开源项目地址：https:/ Dropout的随机性，可以近似把输入走过两次的路径网络当作两个略有不同的模型；在样本分布不均衡时，关注不同类别的稳定性，提高鲁棒性QABot-ChatGPT应用探索 GPT-3.5 有监有监督微调督微调SFTSFT RLHFRLHF：reinforcemen

7、reinforcement learning t learning from human from human feedbackfeedbackQABot-ChatGPT应用探索ChatGPT用于问答zero shot匹配场景 知识库内容如下，【分别为问题ID、问题内容：1 福利待遇怎么样？2 公司地址在哪里？.36 什么时候可以上班？】。“这个岗位待遇好不好？”对应知识库哪个问题，请输出问题序号，仅输出序号就行了，例如1、2、3、4。1ChatGPT用于问答few shot匹配场景 当前知识库的使用场景是想要发布招聘信息的用户来问客服一些问题，例如：用户问【公司福利如何？】，对应知识库【1

8、福利待遇怎么样】，用户问【你们地址在哪？】，对应知识库【2 公司地址在哪里？】；.请问【这个岗位待遇好不好？】对应知识库哪个问题，请输出问题序号，仅输出序号就行了，例如1、2、3、4。1QABot-ChatGPT应用探索ChatGPT用于语料增强泛化 在求职场景下，说出10个跟这句话意思一样的句子：这个岗位还在招人吗？1、这个岗位还招不招人？2、这个职位还缺人吗？3、你们岗位还招人吗？.QABot-效果总结ChatGPT文本匹配效果对比（所有标准问题）ChatGPT数据增强效果（新标准问题纳入时）TaskBot-招聘场景商机引导案例TaskBotTaskBot：为用户完成特定任务的多轮对话系统

9、招聘场景招聘场景TaskTask：引导用户提供简历信息引导用户给出求职意向业务特点业务特点：100+类目，不同类目引导的流程有区别不同类目需要的简历字段信息存在差别TaskBot-对话管理抽象拆分对话管理服务(SCF)TriggerSlotResponseQA服务NER服务人工智能平台日晷平台对话状态Redis话术配置MongoDB(逻辑层数据层FAAS平台插件层配置层问答标注槽位标注Task配置FunctionTaskBot-基于有限状态机配置 对话流程控制对话流程控制：依次遍历有向图，如遇到回复节点则结束TaskBot-有限状态机节点抽象 基于节点配置的DM：通过不同功能节点组合，管理对话

10、流程Start：开始节点，定义一个Task流程，配置会话过期时间、权限级别等信息Trigger：触发节点，流程入口，一组配置条件，只有满足条件才能进入Slot：槽位节点，管理槽位状态，包括必需与非必需槽位的管理与配置Function：功能节点，为系统提供外部能力（如意图识别、NER、回复生成等）Response：回复节点，生成回复内容，用于询问槽位等给出用户回复End：结束节点，一轮交互完成时，回写redis状态StartNodeEndNodeSlotNodeTriggerNodeResponseNode 1ResponseNode n按照配置或DQN不断交互TaskBot-会话状态管理 No

11、de间状态转移 Slot内状态转移SlotNode的状态包括一组slot值与一个状态位，状态位状态分为3类：1 idle 用户进入slotNode前的状态2 query 正在后台查询某个slot的值3 request 正在向用户反问某个slot的值TaskBot-策略优化与效果如何获取更多意向？话术拟人化ABTest实验同步TaskBot商机状态进行商机催留.是否完成留资任务对话侧留资率（有意向率）达到目标有效更新大量用户简历信息如何提升对话流畅度？槽位管理支持绑定意图状态过期时间AB实验话术分析与优化.C端用户体验如何对话整体流畅度达到 90%左右截止第5轮流畅度达到 90%左右求职意向识别

12、-会话级别分类任务有意向-直接表明：C在对话中直接表明对岗位有意向，如在聊天中出现“感兴趣”、“简历已投”、“还招人吗”等积极性关键词有意向-持续交互：C在对话中虽未直接表明对岗位意向，但积极参与聊天-包括主动询问或回答问题，且对话无不匹配、反感、负面倾向中性意向：C交互较少，且在交互中未表明意向，无关键信息给出无意向-未说话：C端全程未说话参与聊天无意向-直接表明：C在对话中直接表明对岗位无意向，如在聊天中出现“不感兴趣”、“不合适”、“不考虑”、“滚”、“找到工作了”等消极性关键词无意向-不匹配：C未在对话中直接表明意向，但表示如“距离太远”、“薪资太低”等人岗不匹配信息无意向-非求职：C

13、端用户不以求职为目的（同行挖人等）标签定义 会话案例求职意向识别-模型选择HAN网络 词级别编码器 词级别attention 句级别编码器 句级别attention小参数Bert规则引擎 关键词 对话深度规则求职意向识别-ChatGPT探索实验 这是AI和C两个人的对话内容【AI：先为你介绍下哈，工作地点在厦门思明区前埔，工作经验3-5年，学历不限，月薪范围4000-6000元 AI：您最近是在看工作机会吗？C：给什么美容？AI：其他消息 AI：您还在吗，方便回答一下刚才的问题吗】。请问最终用户C是否有求职意向，有输出2，没有输出0。0任务特点 有TaskBot对话引导用户给出意向 相对通用

14、任务简单prompt对比 简单提示：请问最终用户C是否有求职意向，有输出2，没有输出0 丰富提示：当对话中出现“感兴趣”、“简历已投”、“还招人吗”等积极性关键词时为有意向，当对话中出现“不感兴趣”、“薪资太低”、“不考虑”、“滚”、“距离太远”等为无意向求职意向识别-效果总结任务特点 有TaskBot对话引导用户给出意向 相对通用 任务简单 对识别准确率要求高ChatGPT在零样本情况下表现良好但较难平衡准召效果智能双呼-对话流程肯定回复唉，您好，我是您的赶集招聘小助手。候选人简历姓名，年龄年龄岁，性别性，正在寻找职位名称的工作。现在帮您转接电话直接和他聊一聊，您看可以么？否定结束进行转接【

15、关键词问答】【询问来电身份】我是您的赶集招聘小助手。候选人简历姓名正在寻找职位名称的工作。现在帮您转接电话直接和他聊一聊，您看可以么？你是【关键词问答】【回复年龄】年龄年龄岁，现在帮您转接电话直接和他聊一聊，您看可以么？多大年龄？否定回复智能双呼首先由系统给出开场白介绍，若用户给出同意回复，则进行直接转接，不同意则结束对话若用户有问题咨询，则进行回复智能双呼-不同模式与话术探索 P2B2C模式 判断用户有意向后，机器人先呼B，B同意转接后再呼C，C接听后BC直连沟通；P2C2B模式 判断用户有意向后，机器人先呼C，C同意转接后再呼B，B接听后BC直连沟通；第一程接听有意向率提升明显，但最终有意

16、向率改变不大 首呼播报话术优化 分析发现不少用户难以等到首呼语播报完成，因此尝试精简改话术 转接提示话术优化 拒绝转接话术优化话术优化在P2C2B模式下效果提升明显总结与展望应用模式总结机器人C端用户B端用户 IM对话触发场景 反向邀约场景 通过一定策略圈选用户，当B不在线时，动态触发AI问询引导 C2B微聊场景 C端主动开聊，且B不在线时触发 智能双呼模式 P2B2C：机器人先呼B，B同意转接后再呼C，C接听后BC直连沟通 P2C2B：机器人先呼C，C同意转接后再呼B，B接听后BC直连沟通123高意向达成效果总结 C2B微聊场景 反向邀约场景-P2B2C VS 对照组 反向邀约场景-P2B2

17、C VS P2C2B未来展望在招聘更多场景引入对话机器人技术促进高意向达成圈选场景+对话机器人+智能双呼组件配置化结合招聘场景数据预训练模型并应用欢迎关注欢迎关注58AILab欢迎关注58技术技术开源项目：开源项目：开源开源|qa_match：一款基于深度学习的问答匹配工具：一款基于深度学习的问答匹配工具 https:/ 同城对话机器人应用实践：本地生活服务场景中的同城对话机器人应用实践：本地生活服务场景中的商家智能助手商家智能助手58同城智能客服系统同城智能客服系统帮帮帮帮技术揭秘技术揭秘帮帮商家版智能问答模型优化实践帮帮商家版智能问答模型优化实践AI技术助力技术助力CRM系统智能化系统智能化3人半年打造语音识别引擎人半年打造语音识别引擎58同城语音识别自研之同城语音识别自研之路路从从GPT到到ChatGPT的演进的演进与思考与思考智能语音机器人的四种智能语音机器人的四种人机协同能力人机协同能力演讲人：桑海龙58同城算法资深工程师