《2020年终大会-推荐算法:3-4.pdf》由会员分享,可在线阅读,更多相关《2020年终大会-推荐算法:3-4.pdf(25页珍藏版)》请在三个皮匠报告上搜索。
1、算力效能技术体系阿里定向广告 阿里妈妈定向广告算法效能团队 姜碧野 算力效能优化背景 算力效能优化背景 深度模型的迭代带来业务提效,但算力需求也在成倍增长 算力供给增长放缓,“付费”的算力红利难以为继 FY18 ? ? ? FY19 FY20 FY17 + 13% DIN ? ? ? DIEN SIM MLR 2015 2017 2018 2019 CAN 2020 Zhouetal,DeepInterestNetworkforclick-throughratepredic8on Zhouetal,DeepInterestEvolu8onNetworkforclick-throughratep
2、redic8on Pietal,Search-basedUserInterestModelingwithLifelongSequen8alBehaviorData Wangetal,COLD:TowardstheNextGenera8onofPre-RankingSystem Zhouetal,CAN:Revisi8ngFeatureCo-Ac8onforClick-ThroughRatePredic8on 定向广告团队的模型迭代路径定向广告团队的模型迭代路径 年化算力年化算力增长增长2323倍 倍 算力效能优化技术发展路径 算力效能优化技术发展路径 纯工程优化 效能1.0 算法优化 2017
3、- 效能2.0 结合业务极致优化 2019- 效能3.0 全局优化 2020- KernelKernel优化优化 计算图优化计算图优化 模型去冗余模型去冗余 权衡效果与性能权衡效果与性能 系统整合系统整合 全局调优全局调优 寻求特解寻求特解 算法工程算法工程Co-DesignCo-Design 目标目标:依托有限资源依托有限资源,撬动最优业务收益 撬动最优业务收益 效能效能1.0:算法优化 算法优化 从工程优化到算法优化 从工程优化到算法优化 工程优化侧重优化模型的执行过程,算法优化需要优化模型本身 找到高性价比的模型结构,权衡效果与性能 优化数值精度 低精度Embedding,低精度计算 优化模型大小 特征剪枝,模型剪枝 优化模型结构 模型Op精简 测试集效果 测试集效果 参数大小 参数大小 最优模型 最优模型 权衡效果与性能 权衡效果与性能 提高提高 效能 效能 Overfitting