1、OPPO对话式AI助手小布演进之路OPPO小布智能中心-杨振宇|自我介绍Self Introduction|杨振宇OPPO小布智能中心认知计算技术负责人2010 2014 华东师大，国防科大讲师2015 now 工业界AI算法研究与落地应用01AI助手历史回顾03小布的演进02小布的诞生04未来展望目录 CONTENT|AI助手历史回顾01|对话系统发展历程|From：https:/ 通过大规模预训练提升模型的泛化性，缓解意图理解问题模型特点l one encoder+multitask decoderl multiple stage：pretrain+further pretrain+fin

2、e-tuning小布的演进-反智障：预训练大模型OBERT|关键策略l 外部知识增强l 全词、实体、关键语、短语mask工程落地：统一表征l 骨干网络：全局只计算一次l 下游任务：只微调末N层l 全局计算量节省75%|小布的演进-反智障：预训练大模型OBERT|落地应用提升明显，行业公开评测第一梯队小布意图识别+2%小布知识问答+4%CLUE总榜Top 5CLUE-NERTop 1kgCLUETop 1百度段落检索Top 3小布的演进-反智障：缺陷发现与优化|背景：AI助手的语音识别与语义理解难度大、badcase发现被动，挖掘成本高，修复周期长目标：充分利用线上日志，提供线上数据挖掘、迭代优

3、化与监控全链路闭环的功能挑战：针对不同场景badcase，选用算法、特征、数据集与评估体系实现自动挖掘与监控，并快速迭代优化语音l非语音人声l非与小布对话l非自然人声l多人重叠l平稳人噪语义l意图识别问题l话题中断问题l端侧执行不一致问题l对话逻辑错误问题人工缺陷发现效率低（例：半年仅770个）小布的演进-反智障：缺陷发现与优化|语音语义联合无效交互拒识l方案：预训练模型+“音频+语义”多模态l效果：以超高准确率拒绝大量无效交互自动化语义缺陷挖掘与修复l挖掘方案：预训练模型+多路粗召+精排l适用性：覆盖技能85.8%、覆盖意图识别问题48%l挖掘效率：相比人工提升150倍+l迭代效率：提升50

4、%，4周2周检索匹配粗召回主动学习预训练模型-Obert精排系统特征标注用户行为例行化复验线上用户文本数据&挖掘训练数据xgboost文本分类badcase自挖掘文本聚类监控回测评估体系用户成长性自修复自动化测试自动化发布文本匹配badcase评测集、测试必过集&测试回归集badcase自迭代自修复校验badcase场景端侧不一致语义NLU话题中断意图识别错误逻辑错误端侧无反应非语义NLUTS播报错误ASR识别执行错误线上用户音频数据ASR文本fbank音频特征预训练模型CNN+TransformerLSTM语义特征预训练模型-Obert模型蒸馏多模态特征融合有效音频音频拒识无效音频小布的演进

5、-懂用户|属性行为情感l 懂用户能给用户带来更贴心的产品体验。l 懂用户能获取用户信任，增加用户粘性。小布的演进-懂用户|基础姓名年龄生日籍贯个性喜好星座性格.告诉我们的事生活记录事件备忘历史观点.设备载体设备类型设备状态环境信息.l 懂用户的基本属性关系亲属联系人照片.小布的演进-懂用户|用户口碑反馈l 懂用户的行为反复澄清行为学习框架小布的演进-懂用户|l 懂用户的情感情感引擎l 情绪识别单元l 共情响应单元l 多模式情感输出l 应用场景现状l 小布情感引擎支持 细粒度情绪识别能力l 对话情绪原因抽取支持深层次用户情绪理解l 对话共情响应，加强与用户的情感联结l 用户情绪反馈挖掘，提升用户

6、对话满意度情绪理解&共情响应意义l赋予小布情感理解和共情能力l给出温暖的、富有同理心的回应l满足用户多场景下情感的需要挑战细粒度情绪识别对话级情绪状态管理情感化共情响应生成小布的演进-懂用户|努力懂用户的潜在需求行为分析热点挖掘“被打了。”并非和打人事件相关。是小朋友的哭诉。潜在需求新一代人的情感倾诉需求未来展望未来展望04|AI助手发展趋势|手机、音箱、电视、平板、车机、IOT等多端融合载体语音助手、元空间数字人、数字员工、AI虚拟主播、AI 虚拟陪伴等 多模态展现。形态有情感，有记忆，有成长，有观点；值得信赖人格化小布的未来演进思路|基础需求方便、高效、解放双手进阶需求智能、懂用户高级需求满足情感诉求L0L5基础执行类技能：语义分类、匹配，槽位解析自学习：用户对话反馈挖掘、理解知识依赖类技能：知识嵌入，垂域图谱，知识问答技能生态：内外技能平台鲁棒性：大规模中文预训练小布记忆：属性、行为、场景理解拟人化：情感引擎、拟人化对话引擎有技能反智障有自我懂用户综合能力对话能力拟人化与对话能力的提升万物互融：AI助手终将迎来最好的时代|感谢聆听！|