1、业务流程呼出呼入系统流程ASRTTSNLGNLUDSTDP语音对话-难点理想的样子 槽位填充 意图识别 领域识别 现实情况 复杂流程 和 简单问答 混合 纯语音的交互，口语化 用户异常交互多 迭代周期短，效果要求高 小蜜语音对话-系统架构分词词性NER情绪识别意图识别槽位填充领域识别QA问答状态追踪任务对话策略语音对话策略融合策略对话模板对话生成NLUNLU-CASE消费者：商家不同意退货怎么办消费者喂您好，我上个星期买的衣服，我要退货机器人请问，您是说是上个星期，在*旗舰店，买的*卫衣么消费者是的消费者机器人机器人answer消费者：继续刚才的流程QAdomain：维权slot：time:上

2、星期 goods：衣服intent:退货NLUNLU-怎么拆理解句子中的实体理解对话的意图，用户的情绪理解用户的domain简单问题（FAQ）复杂问题（任务型）定位具体的解决方案系统槽用户槽规则槽NLU-几个模块NLU意图识别slot fillingdomain识别QANLU意图识别难点挑战口语化-多样化标注数据少业务上线快，变化大期待效果可迁移可扩展可学习效果好小数据或0数据解决方案fewshot可扩展可学习效果好NLU常见思路-分类及DEEPMATCH?Shared NNWSWTS1S2T1T2YSYTSource LabelTarget LabelSource NNWSS1S2T1T2Y

3、SYTSource LabelTarget LabelShared NNTarget NNWSCWTCWT?&?NLU效果及原因分析!相似性计算的问题分类匹配效果可扩展可迁移数据量好无无高一般可以可以高噪声数据度量空间不统一-每次学习的时候见到太少NLULABEL-EMBEDDINGquerylabel_1label_nqueryencoderlabel-encoderlabel-encoderlabel-encodermatchermatchermatcherlabel-embeddingLE好可以可以低分类匹配效果可扩展可迁移数据量好无无高一般可以可以高label-embedding：意图

4、识别&领域识别NLULABEL-ENCODERqueryencoderLabel-encoder：效果好query_2query_kclass-encoderclass-encoderclass-encoderNLUMATCHERMatcher-可扩展、可迁移NLULE+MTLLE+MTL：多任务 进一步增强querylabel_1label_nqueryencoderlabel-encoderlabel-encoderlabel-encodermatchermatchermatcherlabel-embeddingtoken-level tasksentence-level taskmask

5、 language modellanguage generationsentence simnext sentenceNLULE效果实验效果NLULE ANALYSIS结论用几乎一半的数据能达到分类的效果多任务的预训练能够进一步提升模型效果对于完全没有训练过的类别，能够达到全训练的6070%的效果结果分析共享的QueryEncoder 和 LabelEncoder训练任务各个类目之间共享，能够利用样本之间共性多任务训练框架通过句粒度和词粒度两类预训练任务，提升泛华能力，从而提升模型效果 NLU-QA-定位语音端QA-特点方言多口语化query长指代多0.330.310.320.30.3050.

6、310.3150.320.3250.330.335?x?y?z?语音端的QA难在哪QA-CASE 一瞥我刚才小二介入，你们那个淘宝小二介入以后，我看上面页面上的驳回我的件，驳回我的我的我的那个投诉，他怎么能这么写呢，他给我答复的是说交易关闭他说淘宝，然后给我垫付36元，那怎么怎么怎么我看维权，驳回我的维权是什么意思啊之前有来电来电话，过我这个账户，从那个从77的时候，那个就没有办法，那个将购物津贴，然后我那个88vip会员卡，至今到现在都不能买，然后今天你们双十一的活动开始了，那个我要想听些也是花了2000个，那个天猫积分也是一分钱的，今天都没抢到这个很影响我购物的那个，最后的购物，这个事情怎

7、么处理呀，到底已经这么长时间了，你们工作人员到现在都不给我一个答复。Title:为什么维权不成立 Title:为什么无法购买88VIP线上的CASE分析QA-常见方案效果常见DeepMatch的效果cdssm：0.68matchPyramid：0.70效果一般QA-CASE 一瞥我刚才小二介入，你们那个淘宝小二介入以后，我看上面页面上的驳回我的件，驳回我的我的我的那个投诉，他怎么能这么写呢，他给我答复的是说交易关闭他说淘宝，然后给我垫付36元，那怎么怎么怎么我看维权，驳回我的维权是什么意思啊之前有来电来电话，过我这个账户，从那个从77的时候，那个就没有办法，那个将购物津贴，然后我那个88vip

8、会员卡，至今到现在都不能买，然后今天你们双十一的活动开始了，那个我要想听些也是花了2000个，那个天猫积分也是一分钱的，今天都没抢到这个很影响我购物的那个，最后的购物，这个事情怎么处理呀，到底已经这么长时间了，你们工作人员到现在都不给我一个答复。Title:为什么维权不成立 Title:为什么无法购买88VIP“不能买 无法购买”“驳回不成立”线上的CASE分析这些都是知识QA-我们的解决方案KEDMF：知识增强的深度匹配框架KEDMF通用语言类知识相关性知识蕴含推理型知识结构化知识BERTGPTDRMMKNRMu-vu*v水滴网络QA-定位水滴网络KEDMF-效果一瞥效果KEDMFKnowl

9、edges相对提升通用语言类知识bert+6可学习的相关性知识knrm/convknrm+9语义相似度及推理DeepMatch+5.5外部知识图谱biz+9conceptionhop1+4+3cdssmPyramid0.680.7final_acc:0.89DST+DP我们的难点任务槽1任务槽2任务槽3机器人：您好，这边有您的快递，请问是今天晚上给您送消费者喂喂机器人：给您晚上送到*合适么消费者机器人：您好，还在么，晚上给您送到*可以么想象中的样子实际的case我们的解决方案用户抢话用户无响应用户情绪不稳定用户是个熟客语音端的不同要做一个语音端聊的下去的机器人，只监控任务槽位不够so?任务槽用

10、户响应槽用户状态槽系统状态表示对话策略任务规则主动引导话术融合规则+强化学习实现的效果机器人：您好，这边有您的快递，请问是今天晚上给您送消费者喂喂机器人：给您晚上送到*合适么消费者机器人：您好，还在么晚上给您送到*可以么最终的效果语音对话策略任务对话策略主动对话策略用户打断NLG-探索NLG目标：生成对话中多风格的话术限制：不能违背事实解法：seq2seq data2textslot1slot2slotnTextNLGSTYLE NETcopy-net conditional-copy-net style-net我们的解决方案：Style NetNLG-STYLE-NET-电商的样例书面风格：

11、弹性 中老年女装 保暖 采用弹性面料的中老年女装，具有很好的保暖性。口语风格：弹性 中老年女装 保暖 这件中老年女装是弹性材料的，穿起来很保暖。修辞风格：中老年女装 加绒 保暖 这件中老年女装是加绒款式的，比薄款的要暖和。人货匹配风格：加绒 保暖 加绒的款式很保暖，宅在家里穿也很舒服。连衣裙 百褶 质感 这款连衣裙采用了提花的面料，穿在身上非常的有质感。Style-net caseseq2seq+attention 的badcase风衣 皮质 有个性-这款棉衣的设计很有特点，穿在身上很有个性。bleuseq2seqcopycatstyle net28.2741.3646.08效果对比case 分析情绪识别的多模态探索动态打断识别主动抢话one more thing其他语音端的不同谢谢