语音技术效率优化实践.pdf

编号：29538

PDF 22页 586.89KB 下载积分：VIP专享

下载报告请您先登录！

语音技术效率优化实践.pdf

1、语音技术效率优化实践 AI实验室高级工程师颜钊 AI实验室高级工程师李滨内容大纲 2020/12/122 1. 基于kaldi的BATCH-AM推理背景介绍技术方案部署效果改进方向 2. Tacotron2推理性能优化背景技术框图确定优化重点优化方法优化效果 decoder低精度加速效果基于kaldi的BATCH-AM推理-背景介绍 Kaldi1流式解码： GPU交互：线程内串行，线程间并行，每个线程独享一个流 P4服务器：高峰时段CPU14% + GPU80% 2020/12/123 特征提取AM2推理解码“今天天气” GPU 特征提取AM推理解码“播放音乐”

2、thread 1: thread N: 1:kaldi，语音识别开源框架，http:/www.kaldi-asr.org/ 2:AM(acoustic model)，即声学模型基于kaldi的BATCH-AM推理-技术方案 kaldi流式batch解码： GPU交互：单独的推理线程，打包多个请求一并提交给GPU P4服务器：高峰时段CPU50% + GPU80%（更多的解码线程） 2020/12/124 特征提取AM推理解码“今天天气” GPU 特征提取AM推理解码“播放音乐” thread 1: thread N: 834621 基于kaldi的BATCH-AM推理-技术方案 Contex

3、t管理 Query-Context：保存Query当前的Context 推理前：Query-Context - NN 推理后：NN - Query-Context 自动定位Context位置 NN中保存Context的位置 (B, T, ) or (T，B，) 2020/12/125 基于kaldi的BATCH-AM推理-技术方案多线程同步解码线程：往队列中添加request后阻塞，等待推理完成的通知推理线程：从队列中按照batch-size取requests，计算完成后通知解码线程，相邻两次计算之间通过参数控制时间间隔 2020/12/126 基于kaldi的BATCH-AM推理-部署效果 P4服务器部署在线语音识别服务 QPS提升3倍尾包延时不变 2020/12/127 基于kaldi的BATCH-AM推理-改进方向分离AM推理和LM解码 GPU集群负责AM推理 CPU集群

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（语音技术效率优化实践.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。