1、AutoDL:自动化与可解释深度学习熊昊一百度研究院大数据实验室 百度大数据实验室自动化与可解释深度学习领域的最新科研成果 AutoDL在PaddlePaddle与PaddleHub上的重要角色 AutoDL在工业应用方面的实例 关于AutoDL的未来目标与展望演讲内容梳理深度学习的广泛应用物体识别医学影像检测自动驾驶语音助手机器翻译广告营销深度学习的广泛应用!#$%&()*!#$%&()*+,-./012+,-./0123456/0123456/01278789.:;:9.:;:?78=?78 基于序列化模型的超参数优化和结构搜索方法。ABCDABCD 基于提前停止训练的并行计算方法。EFF

2、EFFG8HIG8HI RNN指挥强化学习器生成正确率最高网络的方法。JKLMJKLM 训练大群体的网络模型并进行演化淘汰的方法。阶段性成果%&NO7PQRST%&NO7PQRSTSTUVWXYZ_abcdefghifg3456jklhmn5WoQRSTpq0.200.300.400.500.600.700.800.901.00家装风格鸟类分类家具分类牛皮癣分类车系分类时尚商品商品搜索分类重叠细胞分类典型客户应用效果基线效果最优效果AutoDL模型设计模型设计(1):视觉风格迁移网络视觉风格迁移网络Ultrafast photorealistic style transfer via neur

3、al architecture searchJie An*,Haoyi Xiong*,Jun Huan and Jiebo Luo,AAAI 2020(Oral)11AutoDL模型设计模型设计(1):视觉风格迁移网络视觉风格迁移网络单张图片渲染耗时(Sec./Image)Ultrafast photorealistic style transfer via neural architecture searchJie An*,Haoyi Xiong*,Jun Huan and Jiebo Luo,AAAI 2020(Oral)12AutoDL模型模型设计设计(2):人像人像pose生成网络生成

4、网络Generating Person Images with Appearance-aware Pose StylizationSiyu Huang,Haoyi Xiong,et al.,IJCAI 202013AutoDL模型模型设计设计(3):推荐系统网络推理优化推荐系统网络推理优化JIZHI:A Fast and Cost-Effective Model-As-A-Service System for Web-Scale Online Inference at BaiduHao Liu,Qian Gao and Haoyi Xiong,KDD 2021AutoDL Design(4):

5、如何使用这些模型？如何使用这些模型？模型仓库位置:https:/ Huang,Haoyi Xiong,Tianyang Wang,Qingzhong Wang,Zeyu Chen,Jun Huan,Dejing Dou.Parameter-Free Style Projection for Arbitrary Style Transfer.The 2022 International Conference on Acoustics,Speech,&Signal Processing,202215 AutoDL Design 多功能神经架构搜索的算法与模型 AutoDL Transfer 深层迁

6、移学习算法与预训练模型 AutoDL Interpretability 解释训练过程与深度学习模型表现的多特征分析架构Baidu AutoDLan Overview17AutoDL迁移学习迁移学习(1):基本概念基本概念算法算法与创新算法与创新算法AutoDL Transfer 1.0 DELTA:Deep Learning Transfer using Feature Map with Attention for Convolutional Neural Networks,ICLR 2019Xingjian Li,Haoyi Xiong,Hanchao Wang,Yuxuan Rao,Lip

7、ing Liu,and Jun HuanAutoDL Transfer 2.0 Towards Making Deep Transfer Learning Never Hurt,ICDM 2019Ruosi Wan*,Haoyi Xiong*,Xingjian Li,Zhanxing Zhu,and Jun HuanAutoDL Transfer 3.0 RIFLE:Backpropagation in Depth for Deep Transfer Learning through Re-Initializing the Fully-connected LayEr,ICML 2020Xing

8、jian Li*,Haoyi Xiong*,Haozhe An,Cheng-Zhong Xu,and Dejing DouAutoDL Transfer 4.0RGL:A Simple yet Effective Relation Graph Augmented Prompt-based Tuning Approach for Few-Shot Learning,NAACL 2022Yaqing Wang*,Tian Xin*,Haoyi Xiong,Yueyang Li,Zeyu Chen,Sheng Guo,and Dejing Douhttps:/d2l.ai/chapter_compu

9、ter-vision/fine-tuning.htmlMIT PlacesImageNetFlower 102MIT Indoor 6718AutoDL迁移学习迁移学习(2):使用使用PaddleHub精调精调APICodes:https:/ 5-9):.67+#0 90;);)%(#.,7%(#.,7&(*60!%3$955)(/063(.+5)!#$%&!#$%&()*+,&-!).+#+/0#)1?6A556A599).02#+6708 5-9):.67+#0 90;);)%(#.,7%(#.,7&(*60!%3$955)(/063(.+5以脚本为基础的方案（不需编程）以编程为基础的方案

10、Codes:https:/ pre-trained models(2)Load datasets(3)Set models and run!19AutoDL迁移学习迁移学习(3):通过通过EasyDL实现基于云的线上专业实现基于云的线上专业来试试吧！https:/ Design 多功能神经架构搜索的算法与模型 AutoDL Transfer 深层迁移学习算法与预训练模型 AutoDL Interpretability 解释训练过程与深度学习模型表现的多特征分析架构Baidu AutoDLan OverviewAutoDL可解释性可解释性(1):解释模型解释模型Top words for neg

11、ative:Top words for”positive:f(x):Black BoxModelfeaturesoutputNormLime:A New Feature Importance Metric for Explaining Deep Neural Networks.arXiv:1909.04200 cs.LG Isaac Ahern,Adam Noack,Luis Guzman-Nateras,DejingDou,Boyang Li,Jun Huan在DNN是黑盒的情况下，通过不同输入理解它的输出结果中文NLP的应用：理解模型的情感分析2122AutoDL可解释性可解释性(2):解

12、释训练过程解释训练过程On the Noisy Gradient Descent that Generalizes as SGD,ICML 2020Jingfeng Wu,Wenqing Hu,Haoyi Xiong,Jun Huan,Vladimir Braverman,and Zhanxing Zhu通过梯度噪声理解随机训练过程中深度学习的表现，或者是搜寻错标样本Multiplicative SGDMultiplicative SGD(MSGD)(MSGD)CIFAR10,VGG11Novel multiplicative noise models bring us insightful

13、observations on the generalization performance and the randomness of samplingAutoDL可解释性可解释性(3):通过通过PaddleX解释解释模型模型PaddleX 世界上第一个具备可解释性的深度学习开源交互IDEhttps:/ 面向工业应用的面向工业应用的AutoDLAutoDL平台平台EasyDL 零门槛 AI 开发平台数据准备模型训练AutoDL 工具AutoDL Transfer迁移学习AutoDL Finetuner自动超参搜索Auto Augment自动数据增强分布式训练加速数据采集数据清洗数据扩充数据标

14、注可视化管理数据回流图片文本视频音频结构化数据模型部署应用构建公有云部署私有化部署设备端部署软硬一体部署工业质检安全生产智能硬件零售快消互联网模型评估与归因分析超大规模预训练模型适应产业应用算法集合视觉语义（飞桨文心 ERNIE）场景自适应训练优化多种效果/性能算法选型EasyDL提供端到端的全面自动化建模机制智能应用数据采集数据清洗数据质检智能标注算法选择百度超大规模预训练模型迁移学习数据增强超参搜索分布式训练加速场景适配优化模型评估与诊断模型转换与适配模型压缩与加速模型服务部署原型测试数据回流与闭环迭代EasyDL自动数据处理自动训练与评估机制自动模型部署及性能优化训练控制业务数据用户感知

15、平台机制极简的用户体验高精度效果200+建模与优化机制端到端全流程自动化EasyDL预置领先预训练模型预训练模型核心建模训练参数复杂任务网络通用优化机制高层网络调优 从知识迁移的角度，预训练模型相当于一个有经验的专家，而非新手从零开始学 从训练效率的角度，预训练模型可基于更少的数据量finetune训练，从而快速收敛，满足目标效果EasyDL自动场景适配优化图像分类优化物体检测优化数据不平衡优化小样本优化背景类干扰优化过拟合抑制正则化基于正样本的异常检测无标注样本自监督学习极小目标优化极端长宽比适配单图超多框适配遮挡场景优化不规则物体优化增量标签训练优化旋转目标框检测表数据预测优化自动类型推断

16、数据不平衡优化自动特征交叉DNN模型集成多模型融合文本分析优化长文本优化多语言优化信息抽取场景优化检索场景优化情感分析场景优化层次化文本分类优化检测目标极小绝缘子故障检测050002500透光高积云密卷云透光层积云碎积云淡积云浓积云积云性层积云蔽光层积云蔽光高层云鬃积雨云毛卷层云透光高层云碎雨云毛卷云蔽光高积云积云性高积云秃积雨云卷积云层云雨层云絮状高积云碎层云荚状层积云匀卷层云荚状高积云伪卷云钩卷云堡状高积云堡状层积云云状识别样本分布气象云状识别20+种云状，样本数量分布极不均衡EasyDL智能归因助力模型调优EasyDL丰富任务场景-7大方向、18种任务类型31谢 谢！