1、深度学习推动人工智能进入工业大生产阶段人工规则机器学习深度学习标准化自动化模块化通用性深度学习在各行业的商业增值潜力7967575655555044444439383630旅游物流运输零售汽车高新技术油气化学媒体娱乐基础材料有包装商品农业银行医疗保健公共部门电信医疗制药保险半导体航天及国防Average=62来源 人工智能前沿报告：深度学习的应用和价值，麦肯锡百度深度学习200152018深度学习技术及应用国家工程深度学习技术及应用国家工程实验室挂牌（国内唯一）实验室挂牌（国内唯一）信息流推荐全面使用深度学习信息流推荐全面使用深度学习视觉模型、NLP

2、模型、深度强化学习在多项国际比赛/评测中夺冠深度学习技术平台部DLTP成立2019深度学习模型在搜索和凤深度学习模型在搜索和凤巢上线（业内首次）巢上线（业内首次）深度学习研究院（实验室）深度学习研究院（实验室）IDLIDL成立（业内首个）成立（业内首个）语音识别和语音识别和OCROCR中中应用深度学习模型应用深度学习模型神经网络翻译模型上线百神经网络翻译模型上线百度翻译（业内首次）度翻译（业内首次）深度学习语义匹配特征占深度学习语义匹配特征占搜索权重超过搜索权重超过50%50%领先的语义表示模型Ernie领先的语音识别模型SMLTA深度学习网络结构复杂多样，研发门槛高芯 片模 型应 用框 架组

3、 网训 练预 测深度学习框架极大解放了生产力Paddle 20132016.92017.102018.10PaddlePaddle开源Paddle FluidPaddlePaddle SuitePaddle Fluid 1.0Paddle Fluid 1.5PArallel Distributed Deep LEarning飞桨（PaddlePaddle）历史深度学习当下的挑战与机遇大数据大模型大算力预训练模型迁移学习AutoDL、模型压缩云平台和端高速推理引擎端到端全流程深度学习平台领域标记数据缺少模型设计难上线难训练预测算力不足模型库开发动态图静态图训练大规模分布式训练工业级数据处理预测P

4、addle ServingPaddle MobilePaddleSlim安全与加密PaddleRecPaddleNLPPaddleCV核心框架工具组件VisualDL训练可视化工具PaddleHub迁移学习PARL强化学习EDL弹性深度学习计算EasyDL零基础定制化训练和服务平台AI Studio一站式开发平台服务平台AutoDL Design自动化网络结构设计飞桨（PaddlePaddle）全景图EasyEdge端计算模型生成平台PythonAPIC+interfaceC+FrameworklayersDyGraphLayersInference APIPybindOptimize Pas

5、sMemory ManagementOpsExecutorTracer飞桨基础框架“Program”ProgramDesc-IRExecutorOperatorsTracerDefineCompile TimeRun TimeImperative飞桨分布式训练Parameter ServerCollective AllReduceGPU多机多卡高效同步并行训练Instance type:NVIDIA DGX-1GPU:8x NVIDIA Volta V100CUDA/cuDNN/NCCL:9.2/7.3/2.3.4Dataset:ImagenetResNet50 Benchmark ALL-R

6、educe ALL-Reduce通信拓扑优化梯度向量聚合减少通信次数计算与通信流水并发降低通信等待Paddle Fluid 1.4 和1.5对照GPU多机多卡高效同步并行训练GPU:NVIDIA Tesla V100Machine number*Card number:4*4System:Centos 6u3Cuda/Cudnn:9.0/7.1Dataset:ImageNetPaddleVersion:1.4Model:Resnet50Batch size:32减少通信内容：稀疏通信（DGC）异步高并发Worker线 程 级 的 异 步 I O、异 步 计 算、异 步 通 信高并发Server

7、高性能通信库-BRPC模型参数分片稀疏模型参数退场机制百度Feed流百度商业推广系统已经过百度内核心业务验证：解决的问题大规模稀疏参数服务器海量特征&自膨胀超大规模数据高频率模型迭代更新新闻（序列）历史点击历史点击用户模型应用示例：百度APP信息流推荐问题特点：问题特点：海量多媒体新闻资源户兴趣多样，千千流式阅读，上下相关技术挑战：技术挑战：户和新闻异构空间的匹配建模百亿级稀疏特征+级特每时在线数亿新训练样本每天千亿次预测计算需求千亿规模参数模型的在线分布式训练和预测语 义 匹 配 组 网 集S i m N e t,D A M分 割 组 网 集ICNet,DeepLab v3+PaddleRe

8、cPaddleNLP关键点检测人脸检测字符识别图像生成词法分析机器翻译情感分析语 义 表 示E R N I E,B E R T,E L M o语 言 模 型L S T M,G R U大 规 模 C T R 预 估PaddleCV排 序 组 网 集D e e p I n t e r e s t N e t w o r k,D e e p C T R,G R U 4 R e c,G N N对话生成阅读理解候选召回候选标签分 类 组 网 集V G G,R e s N e t,S E-R e s N e X t,I n c e p t i o n v 4,M o b i l e N e t检测组网集F

9、ast R-CNN,Faster R-CNN,Mask R-CNN,SSD,YOLO v3视频分类任务层算法层丰富的官方网络模型库飞桨开源多项百度国际竞赛夺冠模型国 际 竞 赛获 奖 模 型/模 块视觉领域PyramidBox模型Attention Clusters网络模型基于Faster R-CNN的多模型增强学习框架PARLWIDER FACE三项测试子集ActivityNet Kinetics Challenge 2017Google AI Open Images-Object Detection Track NIPS AI for Prosthetics Challenge 第一第一第

10、一第一StNet模型ActivityNet Kinetics Challenge 2018第一任务名称 自然语言推断任务 语义匹配任务 命名实体识别任务情感分析任务检索式问答任务数据集XNLILCQMCMASK-NERChnSentiCorpNLPCC-DBQA评估指标准确率准确率F1准确率MRRF1BERT77.20%87.00%92.60%94.30%94.60%80.80%ERNIE78.4%87.4%93.8%94.3%95.1%82.7%Benchmark哈 尔 滨冰 雪Learned by ERNIE XXX是 黑 龙 江 的 省 会,国 际 XX文 化 名 城Transforme

11、rPaddleNLP 领先的通用语义表示模型ERNIEEnhanced Representation through kNowledge IntEgration百度 Feed流百度搜索百度云 VCA 系统视频自动分类可全免人审视频语义向量推荐/搜索模型效果显著提升视频标签集top5准确率达96%TSN基于2D-CNN经典解决方案Non-Local视频非局部关联建模模型StNet视频联合时空建模方法TSM基于时序移位的简单高效视频时空建模方法Attention LSTM常用RNN模型，速度快精度高Attention Clusters多模态特征注意力聚簇融合方法NeXtVLAD2nd-Youtub

12、e-8M最优单模型PaddleCV 提供业界首个视频识别工具集PaddleHub命令行工具快速调用模型Fine-tune API快速适配领域任务预训练模型10行代码用起Ernie推理引擎多语言支持底层硬件GPUCPUASIC工具PaddleSlim安全与加密软硬一体方案（EasyEdge）部署手册PythonJavascript方案与服务Paddle ServingPaddle Mobile硬件加速库DSPC+服务端移动端CPUGPU端到端全流程部署方案FPGAXPU两行python代码调用自动化模型压缩剪枝量化蒸馏Sensitive Filter Pruning多种模式int8量化训练多种L

13、oss 任意组合PaddleSlimPaddle Serving 架构图Paddle Serving 技术优势Built-in模型服务支持 图像分类 文本分类百度产品线验证 百度商业广告系统 百度Feed流完备的在线服务能力 单服务多模型 多版本模型A/B Testing 模型热更新硬件设备可扩展 CPU GPUUser Defined Input MessageClient Configuration ManagementA/B TestingRPC Proto Parserrun-timeDAG ExecutorServer Configuration ManagementDAG Pars

14、erRPC Proto ParserBRPCServiceServing Operator Base Built-in Op/User-Impl OpEngine Base CPU/GPUInference EngineClientServerClient SDKPredictors ParserInference Engine ConfPaddle ServingRun-TimeOffline体积小，38*38mm编译转化后基础模型+业务数据自定义模型训练与下载模型编译与适配边缘设备部署与加速模 型工具栈板芯平台合作伙伴的板芯硬件部署流程Y O L O v 3 模 型+蠹 虫 图 片识虫模型

15、训练与下载Paddle派210芯片板卡性能高，本地运行YOLO v3可达30FPS成本低，百元级售价功耗低，工作功率1.2W内置电源，野外工作可达一年工业封装，有效防尘防水，防水等级IP65无需联网，本地完成预测，计算快速安全百度AI Studio提供 模型训练、下载、编译的完整工作流程注：此设备由设备端部署解决方案完成AI识虫合作研发在线实训平台学习云端集成运行高效简单易用资源免费开发基于真实场景的大规模开放数据集精彩视频片段驾驶场景识别机器阅读理解信息抽取知识抽取交通预测实体标注体系化教程样例工程及代码经典数据集Python 在线编程预置深度学习框架在线训练46000+开发者2w+项目37

16、00+数据集AI Studio 一站式开发平台飞桨行业应用工业公共场所控烟通讯基站网络故障预警林业病虫害监测识别准确率达到 90%石油地震波藏油预测农业智能桃子分拣机节约 90%人力成本制造智能零件分拣人工效率增加 1 倍零售商品销量预测单店生鲜报损降低 30%地产智能楼宇管理制冷系统节电 20%人力AI建立匹配系统5倍面邀成功率汽车充电桩故障预警准确达 90%与合作伙伴一起帮助越来越多的行业完成 AI 能力赋能专业要求高耗时长时效性差目标检测90倍检测时间从15min/景缩短到10s/景Faster R-CNN模型高尔夫球场地块自动识别波段类型多尺度差异大局部空间特征失真人工监测算法挑战应用示例：地块变化识别实现国家重大工程用地变化的自动检测训练框架预测框架芯片深度学习辅助工具模型数据业务模型行业应用操作系统深度学习框架是AI时代的操作系统Thank you!