报告预览

安全 AI 平台 GPU 实践和思考.pdf

编号：29535

PDF 26页 967.59KB 下载积分：VIP专享

下载报告请您先登录！

安全 AI 平台 GPU 实践和思考.pdf

1、安全AI平台GPU实践和思考又可2020/11#page#提纲总结快速响应需求GPU利用率背景性能优化#page#问题域安全AI平台相关角色稳定监管权利人消费者快速生产快速部署快速升级快速扩展赵居庭平台方商家快速开放性能送代核心问题核心诉求秒级风险螺光延时赋能业务平台毫秒级排查体验联合集团优质服务风险类风险变湖效果化快成本研发/运维/机器#page#业务背景外部内部服务生态小红书淘宝天猫钉钉饿了么微博优酷安全业务商品合规知识产权天眼安防阿里云绿网内容安全文本行为图像/视频生物特征实体基础文本图像视频人脸动作OCR算法识别表征分类分析识别分类识别能力目标关键相似视频语音相似行为ReiD检测特征词

2、特征表征指纹分析EMON安全A平调度平台媒体服务模型平台搜索平台FissionQuakeANNXInsight台#page#平台架构搜索平台ANNX模型平台Quake模型训模型服索引构索引服模型编务分布式弹性训练码本训练索引自动分片编译优化Batch/Stream索引构建GPU支持多框架支持模型自定义多种学习范式【常规/小样本/迁移】模型pipeline元数据存储硬件算子库实时增量服务算子库多框架支持模型/任务管理多硬件支持索引评测混合检索调度平台Fission资源治服务部署/开放智能调度混部透明部署服务市场弹性计算任务编排资源池多租户基础设施依赖软硬一体化云原生存储TensorRT/GPU其

3、它OTSOSSASINaitve K8S#page#服务规模数十数百数百数干百亿租户/场景服务模版服务合约流量/天GPU#page#演进历史GPU利用率！规模化部署快速响应需求！快速响应需求II部署性能优化！性能优化IIGPU利用率II20020数干数干数十数百#page#提纲总结快速响应需求GPU利用率背景性能优化#page#问题与挑战模型算法复杂众多成本瓶颈上限挑战高昂低海量检索延时#page#路径serving序列化量化Dynamic Batch内存池Stream/overlap检索模型推理PluginsL2Norm点积双调排序算子融合内存重排数据裁剪TensorR

4、TCUDA/cuBLASMLPerfNsight Systems/Compute#page#小结GPU P100相对于CPU8c相对于未优化GPU算法相关模型性能增长性能增长12c CPU图像分类280qps15X4.6XResnext101NA1.4X图像特征D2-Net120qpsRefinedet检测目标检测80qpsNA3XResnet18识别基于Resnet50检测OCR39X8.9X99qps基于CNN+CTC识别2基于Resnet18检测9X2.5X人脸特征基于CNN关键点174qpsResnet100识别NA检索PQ11X600gps/10ms备注按GPU单卡配置与CPU单核的

5、价格比是20:1估算端到端的评估限制CCPU瓶颈限制#page#提纲小结GPU利用率快速响应需求背景性能优化#page#问题与挑战模型增量升级爆发开放性效率挑战低多强浙进增强硬件定制优化复用多框架#page#路径服务层ServicePipeline算法层模型节点定制节点IOTensorRTpluginslibtorch编译模型层IRParserBackendCVTorchScriptControlONNXFrozen PB/UFF#page#小结开放浙进模型多层编译算子库优化计算图#page#提纲总结快速响应需求GPU利用率背景性能优化#page#问题与挑战资源任务业务存量增长庞大资源多低务弹

6、性样性利用率低资源服务外部突面向资源约束挑战竞争峰谷稳定性的任务调度发流量调度效应隔离硬件服务服务限制瓶颈大量长瓶颈尾服务可压缩比硬件配比#page#路径资源维度方案原型任务维度服务任务峰谷效应调度隔离弹性混部可抢占保障型任务任务QuotaRequestLimi任务任务瓶颈在线服务训练任务虚拟化优化延时敏感任务常规离线任务#page#服务弹性“策略中心周期指标资源刻画动态调度预测策略指标中心天级级别计划生成计划执行模式中心动态策略目标函数分钟级别结果一些限制以70%作为目标，服务流量具有明显峰谷利用率可达50%+卡数较少弹出40%的卡高保障业务99%的线卡在80%的水位#page#混部训练任务

7、资源在线合约离线计算结果总池子空卡8%弹性卡16%非弹性卡56%弹性卡20%弹性混部计算#page#虚拟化PODPODPOD结果通过部署双倍容器，利用率翻倍DockerDocker些限制HARP模型内存限制CPU利用限制GPUGPU同质化部署#page#任务优化PODPOD预模型预模型解码解码处理计算处理计算PODPODPOD预处预处模型解码预模型解码理2理1计算跨降级处理计算网络CPUGPU一些限制结果图片CPU解码瓶颈一些场景下的GPU利用率翻倍，其他CPU瓶颈，未必具有通用性优化范围的选择#page#提纲总结快速响应需求GPU利用率背景性能优化#page#总结-成本视角隐式成本显式成本Serving基于动态脚本快速组合能力服务层优化索引！模型基于pipeline的抽象模型能力算法层优化优化调度模型层基于Graph的算子插件能力优化#page#Q&A

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（安全 AI 平台 GPU 实践和思考.pdf）为本站（X-iao）主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。

上海品茶

安全 AI 平台 GPU 实践和思考.pdf

安全 AI 平台 GPU 实践和思考.pdf