上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

9-6预训练的应用挑战与实践探索.pdf

编号：29771 PDF 42页 2.45MB 下载积分：VIP专享
下载报告请您先登录！

9-6预训练的应用挑战与实践探索.pdf

1、预训练的应用挑战与实践探索 小米AI实验室NLP团队 崔建伟 2020-07-25 预训练简介 预训练应用挑战 预训练实践探索 总结 分享大纲 预训练简介 词向量 静态 Word Embedding 上下文相关 Word Embedding CBOW/Skip-GramEmbedding Matrix 任务相关: 任务无关: 苹果公司最近发布新产品 喜欢吃苹果吗? 任务相关网络 序列建模方法 LSTMTransformer 远距离的词语间接交互SelfAttention: 任意词语间直接交互 Multihead Attention: 不同类型语义交互 预训练模型 BiLSTM + Langua

2、ge Model Feature based Pretraining Transformer + Language Model Transformer + Mask Language Model ELMoGPTBERT BERT模型 非监督语料 1B+ 监督语料 100k Mask Language Model Next Sentence Prediction 分类、序列标注等 PretrainFinetune BERT效果 灵活适配下游任务效果显著提升 参数规模 BertBase:110M BertLarge: 340M 预训练模型发展 参数规模持续增长 预训练落地挑战 预训练对话系统 周末

3、/去/哪儿/玩周末去哪儿玩 意图分类 天气音乐 聊天电台 Query Reply 去爬山吧 Q-Q匹配 生成Q-R 语义断句分词 周末/去/哪儿/玩 预训练挑战 挑战一：推理延时高、成本高 BertBase参数规模 100M, 推理延时(P99) 200ms, 单卡QPS约100 预训练挑战 挑战二：知识融入 Query：播放张杰的歌 实体知识：歌手、歌曲名等 预训练挑战 挑战三： 如何根据任务调整 模型和训练 Query：这是一家移动互联网公司 粗粒度：这/是/一家/移动互联网/公司 细粒度：这/是/一家/移动/互联网/公司 Q(“周末去哪儿玩”)- R(“去爬山吧”) Seq2Seq生成+ 预训练 预训练实践探索 推理效率知识融入任务适配 推理效率-知识蒸馏 原始训练 数据 蒸馏后 数据 Query: “今天心情怎么样” Label: 天气:0, 聊天:1 Query: “今天心情怎么

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（9-6预训练的应用挑战与实践探索.pdf）为本站 （X-iao） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

般若 升级为标准VIP   wei**n_... 升级为标准VIP

 185**87... 升级为至尊VIP 131**96...  升级为至尊VIP 

琪** 升级为标准VIP   wei**n_...  升级为高级VIP

 wei**n_...  升级为标准VIP 186**76... 升级为标准VIP 

微**...  升级为高级VIP 186**38... 升级为标准VIP

 wei**n_... 升级为至尊VIP  Dav**ch...   升级为高级VIP

 wei**n_...  升级为标准VIP  wei**n_...  升级为标准VIP

 189**34... 升级为标准VIP 135**95...  升级为至尊VIP 

 wei**n_...  升级为标准VIP  wei**n_... 升级为标准VIP

137**73...  升级为标准VIP  wei**n_... 升级为标准VIP 

wei**n_...  升级为标准VIP  wei**n_... 升级为至尊VIP

 137**64... 升级为至尊VIP 139**41... 升级为高级VIP 

Si**id  升级为至尊VIP   180**14...  升级为标准VIP

138**48...  升级为高级VIP  180**08... 升级为高级VIP

wei**n_...  升级为标准VIP wei**n_... 升级为高级VIP

  136**67... 升级为标准VIP 136**08...  升级为标准VIP

177**34... 升级为标准VIP  186**59... 升级为标准VIP

139**48...  升级为至尊VIP  wei**n_... 升级为标准VIP 

 188**95... 升级为至尊VIP  wei**n_...   升级为至尊VIP

wei**n_... 升级为高级VIP  wei**n_... 升级为至尊VIP

微**... 升级为至尊VIP 139**01... 升级为高级VIP 

 136**15...  升级为至尊VIP  jia**ia...  升级为至尊VIP

 wei**n_...  升级为至尊VIP 183**14... 升级为标准VIP 

wei**n_...  升级为至尊VIP  微**... 升级为高级VIP  

  wei**n_... 升级为至尊VIP  Be**en 升级为至尊VIP

微**...  升级为高级VIP 186**86...  升级为高级VIP

Ji**n方...  升级为至尊VIP   188**48...  升级为标准VIP

 wei**n_...  升级为高级VIP iam**in... 升级为至尊VIP 

 wei**n_...  升级为标准VIP  135**70... 升级为至尊VIP

199**28...  升级为高级VIP wei**n_...  升级为至尊VIP 

  wei**n_... 升级为标准VIP  wei**n_...  升级为至尊VIP

火星**r...   升级为至尊VIP 139**13...  升级为至尊VIP

186**69... 升级为高级VIP  157**87...  升级为至尊VIP

 鸿**... 升级为至尊VIP wei**n_... 升级为标准VIP

137**18... 升级为至尊VIP    wei**n_... 升级为至尊VIP 

 wei**n_... 升级为标准VIP  139**24... 升级为标准VIP 

158**25...  升级为标准VIP   wei**n_... 升级为高级VIP 

188**60... 升级为高级VIP Fly**g ...   升级为至尊VIP

 wei**n_... 升级为标准VIP 186**52...  升级为至尊VIP

 布**  升级为至尊VIP 186**69... 升级为高级VIP  

wei**n_...  升级为标准VIP 139**98... 升级为至尊VIP

 152**90...  升级为标准VIP  138**98... 升级为标准VIP

181**96... 升级为标准VIP 185**10...  升级为标准VIP

 wei**n_...  升级为至尊VIP 高兴 升级为至尊VIP 

wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP 

阿**...  升级为标准VIP wei**n_...   升级为高级VIP

lin**fe... 升级为高级VIP   wei**n_... 升级为标准VIP

  wei**n_... 升级为高级VIP wei**n_...  升级为标准VIP

 wei**n_... 升级为高级VIP wei**n_... 升级为高级VIP 

 wei**n_... 升级为至尊VIP wei**n_... 升级为高级VIP