2020年终大会-机器学习平台：13-5.pdf

编号：29908

PDF 41页 2.09MB 下载积分：VIP专享

下载报告请您先登录！

2020年终大会-机器学习平台：13-5.pdf

1、58深度学习平台在提高模型推理性能和GPU使用率上实践陈兴振 - 58同城 AI Lab 2020.12.20 58深度学习平台介绍模型推理加速提升平台GPU使用率总结及计划分享大纲 58深度学习平台算力算力 CPUK40P40T42080ti 存储存储 RAIDHDFS 对象存储（WOS）高性能网络文件系统高性能网络文件系统（WFSWFS） KubernetesKubernetes 资源管理任务调度服务发现 ETCDCalicoDNS PrometheusGrafana DockerDocker、NvidiaNvidia- -Docker2Docker2 深度学习框架深度

2、学习框架 rsyslog 开发实验开发实验模型训练模型训练推理服务推理服务负载均衡一键扩容推理加速（TF-TRT、TensorRT、MKL、OpenVINO）单机单卡训练参数服务器（多机多卡训练）代码在线调试资源复用监控中心日志中心镜像中心 ABTest WubaNLPWubaNLP 序列标注文本分类文本匹配凤凰图像算法平台凤凰图像算法平台图像样本库图像算法组件搜索推荐NLP语音图像风控推理服务通用预测接口协议解析流量转发/负载均衡模型1解析jar包模型2解析jar包模型n解析jar包 SCF 服务业务方线上请求：模型ID + 预测数据（Objec

3、t） Jar包热加载 pod2 podn pod1 模型1预测实例 pod2 podn pod1 模型2预测实例 pod2 podn pod1 模型n预测实例 TensorFlow Serving PyTorch gRPC Serving 自定义模型 gRPC Serving Web 管理系统 Kubernetes Jar 包推送模型部署、扩缩容模型1协议实体模型n协议实体模型推理加速 GPU上推理优化历程前期：主要支持TensorFlow框架采用TF-TRT快速上线后期：TensorRT+Triton Inference Server支持所有框架 Framework Integration UFF ONNX Model Import Network Definition API Custom Framework TensorRT Optimize r

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2020年终大会-机器学习平台：13-5.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。