1、中国移动九天人工智能平台GPU推理实践 中国移动通信研究院 尹路 2020年12月 AI推理场景 推理效率不高的原因 最大化GPUs实时推理性能 快速部署、管理多个模型 易于扩展到不同架构的GPUs以及多GPU节点 与编排系统结合,可以进行metrics监测 开源 NVIDIA TRITON 模型并发执行模型并发执行 多模型 (或者同一模型的多个实例)可以在GPU上同时运行 模型导入模型导入 在服务开启时指定的任意搭配的模型,都会被导入存储 CPU模型执行模型执行 各框架原生模型,可以在CPU上执行推理请求 Metrics 利用率、总数、延迟 定制化后端定制化后端 定制化后端允许用户通过使用共
2、享库的方式,更灵活的 将TRITON作为执行引擎,提供给他们自己的应用来使用。 动态 Batching 推理请求可以被inference server 分批处理 1) 达到模型允许的最大值 2) 达到用户定义的最大等待时间 支持多种模型格式 TensorFlow GraphDef/SavedModel TensorFlow and TensorRT GraphDef TensorRT Plans Caffe2 NetDef (ONNX import path) 挂载模型仓库挂载模型仓库 模型必须存储在本地可访问的挂载点 NVIDIA TRITON 支持的模型格式 TensorFlowGraph
3、Def/SavedModel TensorFlowand TensorRTGraphDef TensorRT Plans Caffe2 NetDef (ONNX import) 多GPU支持 模型并发实行 HTTP REST API/gRPC Python/C+ client librarie NVIDIA TRITON CategoryNameUse CaseGranularityFrequency GPU Utilization Power usage Proxy for load on the GPUPer GPUPer second Power limitMaximum GPU power limitPer GPUPer second GPU utilization GPU utilization rate 0.0 - 1.0) Per GPUPer second GPU Memo
1、下载报告失败解决办法 2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。 3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。 4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。
中国移动研究院:人工智能大平台与九天·众擎基座大模型的建设与实践(2023)(22页).pdf
中国移动研究院:善智者动于九天之上(2023)(20页).pdf
中国移动:我国人工智能大模型发展动态(2023)(12页).pdf
中国移动研究院:体系化人工智能与大模型(2023)(11页).pdf
中国移动研究院:体系化人工智能技术(Holistic-AI)技术探索(2023)(38页).pdf
三个皮匠报告专业的行业报告下载站,每日更新,欢迎大家关注!
copyright@2008-2013 长沙景略智创信息技术有限公司版权所有 网站备案/许可证号:湘B2-20190120
专属顾问
机构入驻、侵权投诉、商务合作
三个皮匠报告官方公众号
验证即登录,未注册将自动创建三个皮匠报告账号
使用 微信 扫一扫登陆