1、0中国深度学习软件框架中国深度学习软件框架市场研究报告（市场研究报告（20212021）目录目录12执行摘要执行摘要简介过去十年，是人工智能从实验室走向产业化的十年。AI技术革命掀起的产业浪潮，势不可挡地席卷了全球的各行各业。作为现今最为活跃的创新领域，人工智能在迅速融入细分场景的同时也在不断地重塑传统行业模式，为经济社会输出独一无二的未来价值。深度学习是本轮人工智能爆发的关键技术，也是这一时期AI技术的发展主线。计算机视觉和自然语言处理等领域取得的突破性进展，离不开深度学习技术的底层支撑。由于深度学习底层算法的开发具有较高的学术及技术门槛，在其发展早期缺乏底层开发工具的情况下，深度学习技术发

2、展速度较慢，相关应用落地受到制约。而深度学习软件框架则是在此背景下出现的一种底层开发工具，通过对深度学习算法进行模块化封装，解决该技术“落地难”的困境。当前，深度学习技术已然迈入升级优化阶段，带动相关产业高速蓬勃发展。2020年，深度学习软件框架的技术标志性工具谷歌TensorFlow下载量爆发式增长，仅一个月便超1000万次，占自开源以来下载总量的十分之一。此外，同等算法水平所需计算量每八个月降低一倍，技术成本快速下降使得业内众多平台形态纷纷涌现。本报告旨在明晰深度学习软件框架的基本概念和分类，通过对行业发展历程及产业链的梳理探究行业核心驱动因素，剖析当下深度学习软件框架行业市场趋势，并基于

3、应用、产品及生态三大关键维度构建厂商竞争力体系，评估主流玩家的核心竞争优势及综合壁垒，形成对中国市场深度学习软件框架发展情况的客观评价，并为行业未来发展提供参照建议与关键启发。来源: 中国信通院，沙利文整理20202020年全球人工智能企业分布地图年全球人工智能企业分布地图38.3%24.7%7.3%5.2%3.5%美国美国中国中国英国英国加拿大加拿大印度印度2257053关键发现点在深度学习技术迭代的过程中，深度学习软件框架行业整体格局将逐步成型。科技巨头生态体系建设叠加中国肥沃的政策和技术土壤，将为业内厂商提供前所未有的发展机遇。本报告将呈现从行业驱动因素洞察未来趋势

4、，再从行业趋势推演竞争格局的逻辑分析过程：驱动因素：驱动因素：随着上游基础硬件及算法的升级和中游应用技术的成熟，深度学习软件框架行业下一阶段的驱动因素主要包含三个层面。其一其一，下游应下游应用场景加速渗透和具体细分场景规模用场景加速渗透和具体细分场景规模化应用将为行业带来曙光化应用将为行业带来曙光。从2021年AI领域融资事件来看，自动驾驶、智慧医疗和智能语音已经成为热门赛道。其中，自动驾驶具备广阔的发展前景，而百度正处于领跑地位。其二其二，头部头部科技企业加速布局和产业生态体系垂科技企业加速布局和产业生态体系垂直整合直整合，将为不同厂商提供多元化的将为不同厂商提供多元化的战略切入点战略切入点

5、。目前，业内已形成算力、框架、平台和服务纵向一体化的共识，从而为云服务企业、AI头部企业及AI芯片巨头提供了多环节的战略布局思路。相关头部AI企业，有望引领本轮生态体系建设。其三其三，在全球在全球AIAI政策政策环境持续优化的趋势下环境持续优化的趋势下，中国对人工中国对人工智能产业的宏观战略规划将为行业提智能产业的宏观战略规划将为行业提供肥沃的成长土壤供肥沃的成长土壤。人工智能已上升为中国的国家战略，中国制造2025等一系列政策的出台，将深度助力理论技术转化为落地实践。市场趋势：市场趋势：在核心驱动因素的催化下，中国深度学习软件框架行业展现出三大主要趋势，并在这个过程中逐步明晰竞争格局。其一其

6、一，中国原创技术创中国原创技术创新突破加之人工智能政策导向新突破加之人工智能政策导向，将推将推动市场产学研用融合创新共同体的成动市场产学研用融合创新共同体的成型型。中国具备全球领先的视觉、自然语言处理、语音识别等智能任务的工程实现水平，深度学习原创技术创新正处于活跃期。技术突破结合2021年发布的十四五规划，将引导行业形成连通企业、高校、研究院所、政府等创新主体的共同体生态。其二其二，全球全球产业生态雏形逐步显现产业生态雏形逐步显现，一方面表现为以谷歌TensorFlow和Meta PyTorch为代表的头部企业构建开源的深度学习软件框架生态，试图占据应用接口和硬件适配的双向主导权；另一方面展

7、现在不同产业主体凭借自身优势形成的四种小生态模式。其三其三，目前主流目前主流深度学习软件框架格局逐步清晰深度学习软件框架格局逐步清晰，已已从百花齐放向几家逐鹿转变从百花齐放向几家逐鹿转变。行业竞争焦点将从模型库转移至易用性和硬件适配优化，高级语言接口与硬件适配优化成为开源框架构筑壁垒的关键。竞争格局：竞争格局：在竞争格局渐趋明晰的过程中，相关厂商需要跨越技术、人才、资金和品牌四方壁垒，在技术实力、生态规模和功能体验三大成功要素上展开角逐。目前，深度学习软件框架行业的玩家主要包含谷歌TensorFlow、Meta PyTorch、百度飞桨PaddlePaddle、亚马逊MXNet和华为MindS

8、pore，行业未来龙头将大概率从前三者中孕育而出。20162016年发布的百度年发布的百度PaddlePaddlePaddlePaddle是中国首个自主研发是中国首个自主研发、开源开放的产开源开放的产业级深度学习软件框架业级深度学习软件框架，已具备成熟已具备成熟的技术积累及生态优势的技术积累及生态优势。目前在中国综 合 市 场 份 额 超 越 PyTorch 和TensorFlow，位居第一。根据基于应用、产品和生态能力构建的深度学习软件框架厂商竞争力评价模型，百度飞桨PaddlePaddle综合竞争力领跑行业，其 次 是 Meta 的 PyTorch 和 谷 歌 的TensorFlow，目前

9、三者在细分领域项目上各有千秋。关键发现深度学习软件框架市场定义与解读深度学习是以人工神经网络为基础，融合数学、计算机科学、神经科学等多种学科，在此基础上对数据及信息进行学习的机器学习算法。深度学习软件框架通过对深度学习算法进行模块化封装，实现各种模型的训练、调优、测试和部署，并通过标准化流程快速搭建深度学习模型。深度学习软件框架的推出大幅降低了人工智能应用开发的门槛，推动人工智能行业应用的广泛普及。近年来，国际标准化组织、国外标准化组织以及中国标准化组织都在研究深度学习软件框架问题。深度学习软件框架是一种通过对算法进行模块化封装，以实现快速搭建深度学习模型的工具。作为一种底层开发工具，它可以有

10、效降低AI应用开发技术门槛，助力深度学习技术突破发展瓶颈。近年来，国际标准化组织国内标准化组织都在研究深度学习软件框架问题。深度学习软件框架可以从承担任务、部署位置和工作流程三个维度进行分类，各个大类的细分类型具有不同的关键技术要求，也为各类厂商提供了多样化的战略切入点。深度学习软件框架定义与解读4章节一章节一 中国深度学习软件框架市场定义分类中国深度学习软件框架市场定义分类深度学习框架概述深度学习框架概述来源：头豹研究院深度学习软件框架相关定义与评论深度学习软件框架相关定义与评论来源：沙利文咨询深度学习软件框架分类本报告对深度学习软件框架从承担任务、部署位置、工作流程三个维度进行分类。深度学

11、习软件框架主要承担深度学习的开发、训练和推理三个任务，部署位置有云端、终端两种形式。此外，参考国际标准化组织对深度学习工作流程的分类，本报告按所参与工作流程，将深度学习软件框架分为底层运算、模型搭建、迭代训练和跨界框架四类。按照部署位置划分，可分为云端框架和终端框架两类。云端框架在数据中心完成深度学习，终端框架则可以在手机、摄像头、汽车、智能家居、IoT 设备等边缘计算终端设备上运行。按照承担任务划分，可分为训练框架和推理框架两类。前者主要通过数据输入或采取增强学习等非监督学习方法完成深度学习模型训练，后者主要完成训练模型优化、部署和推断计算。前者关注生态建设，后者注重稳定性。按照基本流程划分

12、，可分为底层运算框架、模型搭建框架、迭代训练框架和跨界框架四类。底层运算侧重易用性、性能、底层优化和安全稳定性，模型搭建和迭代训练则关注模型处理和问题解决，跨界框架除满足对其他基本流程的技术要求外，还应满足兼容性、安全性和易用性。深度学习软件框架具体分类深度学习软件框架具体分类来源：国际电信联盟（ITU），国际标准化组织（ISO），沙利文关键发现6中国深度学习软件框架发展历程2020年，深度学习软件框架开始迈入加速发展阶段。从产业链角度考察，上游基础运算升级、中游应用技术成熟以及下游应用场景融合，都将为其后续发展深度赋能。下一阶段，场景规模化应用、头部企业生态体系建设和国家战略政策将成为行业的

13、核心驱动因素。中国深度学习软件框架市场在融合技术创新体系的导向下，逐渐形成四类典型小生态模式，并由百花齐放向几家竞争的格局转变。在跨越技术、人才、资金及品牌壁垒的过程中，主要玩家将围绕技术实力、生态规模和功能体验三大成功因素展开角逐。章节章节二二 中国深度学习软件框架市场概览中国深度学习软件框架市场概览深度学习软件框架发展历程大致分为起步、调整和加速发展三阶段。自2000年至今，人工智能基础性算法理论研究逐渐趋于成熟，各大厂商纷纷投入到算法的工程实现并发力建设算法模型工具，进一步将其封装为软件框架供开发者使用。2014年开始，全球人工智能学术界及产业界各研发主体陆续开源旗下自主研发的深度学习软

14、件框架，并以框架为主体搭建人工智能开源开放平台，推动人工智能产业生态的建立。其中，由谷歌团队开发的TensorFlow及由Meta团队开发的PyTorch两款深度学习软件框架占据业界相对主导地位。同时，中国正在快速形成开源框架的系统化布局，百度飞桨PaddlePaddle、腾讯优图NCNN、华为MindSpore、阿里XDL等自研的开源深度学习软件框架加速升级。其中，百度飞桨PaddlePaddle作为中国首个最成熟完备的深度学习开源框架，已广泛应用于智能制造、智能金融、智能医疗等业务场景。主流深度学习软件框架发展历程主流深度学习软件框架发展历程来源：沙利文咨询7深度学习软件框架产业链主要由上

15、游计算硬件、中游框架开发商和下游应用场景构成。上游是深度学习实现的基础，主要指计算硬件（芯片），为深度学习软件框架提供算力支撑。中游是深度学习软件框架的核心，以模拟人的智能相关特征为出发点，构建应用技术路径，主要包括语音识别、计算机视觉和自然语言处理。下游主要为深度学习软件框架在各细分场景的应用，主要包括制造、安防、金融、医疗、零售、交通、物流、农业等领域。中国深度学习软件框架产业链分析7上游基础运算加速升级，赋能深度学习软件框架发展。基础运算作为深度学习软件框架的产业上游，主要为深度学习提供算法以及算力支持。算法方面，深度学习算法的不断演进提升了软件框架的任务处理能力。深度学习算法包含多个层

16、级的数据处理网络，可以根据输入的数据和分类结果不断调整网络参数设置，特征提取和规则构建均由机器完成。算力方面，GPU、ASIC (包括 TPU、NPU 等深度学习专属架构芯片)等各类硬件助力深度学习实现更快迭代，加速软件框架的运算效率，推动其广泛应用。中游应用技术趋于成熟，行业格局基本形成。深度学习软件框架在应用层面致力于解决具体类别问题，语音识别、自然语言处理和计算机视觉是三大主要技术方向。下游行业与应用场景深度融合，赋能行业加速发展。目前，主流深度学习软件框架已逐步应用于各类行业场景中，模拟人类解决实践问题。ResNet、GPT-3等模型不断提升视觉处理、阅读理解等基础智能任务水平，语音识

17、别、自然语言处理和计算机视觉等感知类任务上的应用技术成就可直接应用于实践产品，带来了广阔产业应用前景。深度学习软件框架产业链深度学习软件框架产业链来源：沙利文咨询这个部分一版会被放到下游，是在框架基础上进行开发的。关键发现创新化创新化智能化智能化自动化自动化深度学习软件框架的应用技术日渐成熟，推动其向各类应用场景加速渗透。语音识别技术主要应用于家居、医疗、金融、教育、交通、汽车、地产等场景，而计算机视觉技术应用场景更为广泛，可应用于零售、库存管理、医疗保健、农业等领域，自然语言处理则主要应用于机器翻译、语音助手、教育等场景。在深度学习软件框架应用的各类场景中，零售、营销等场景产品仍然处于实验室

18、或小规模量产阶段，需进一步深耕；教育、金融、汽车等场景产品基本成熟，开始进入市场，市场认可度快速上升；安防、医疗、制造、农业等场景产品价值已经得到认可，将正式开启规模化应用，企业也将通过产品、服务、解决方案获得相应的营收回报。根据沙利文统计数据显示，2021年AI领域金额过亿的融资事件共有158笔，其中自动驾驶、智慧医疗和智能语音融资数明显超过其他领域，成为深度学习软件框架应用的热门领域。应用技术日渐成熟，促使深度学习软件框架向各类场景渗透，规模化应用将为行业带来潜在增量。从2021年融资事件来看，自动驾驶、智慧医疗和智能语音已成为其中的热门赛道。随着纵向一体化成为全球头部科技企业的共识，以谷

19、歌、微软、百度为代表的科技巨头开始加速产业布局并垂直整合生态系统，引领行业整体发展。中国已将人工智能上升为国家战略，密集的政策出台将为深度学习软件框架行业提供肥沃的生长土壤，推动相关技术逐步走向落地实践。应用场景逐步明晰，规模化应用已现曙光8中国深度学习软件框架市场驱动因素基基础础设设施施应用价值应用价值医疗工业零售安全汽车数字政府金融营销农业教育房地产4640191539自动驾驶智慧医疗智能语音零售其他20212021年中国企业年中国企业AIAI领域金额过亿融资事件数领域金额过亿融资事件数来源：沙利文咨询来源：沙利文咨询深度学习软件框架在各行业的进展及产业结构技术线深度学习软件框架在各行业的

20、进展及产业结构技术线9中国深度学习软件框架市场驱动因素深度学习软件框架应用场景 交通领域深度学习软件框架应用场景 工业制造领域近年来，深度学习技术在交通领域应用广泛。目前，其在交通领域主要致力于解决三方面痛点：第一，大规模交通数据的处理；第二，符合交通场景和需求的深度学习模型的研发；第三，深度学习模型在实际交通环境中的部署。深度学习模型在实际交通应用场景中产生了显著的效果，这离不开深度学习软件框架的支撑。当前主流深度学习软件框架基于张量（Tensor）对数据进行操作，可以方便地使用GPU进行计算，大幅提升了数据运算速度，也为高效灵活地处理和利用海量交通数据奠定基础。与此同时，深度学习软件框架还

21、提供了一些灵活的数据处理算子，以便使用者对数据进行处理。随着深度学习技术在交通领域的探索，诞生了一批有效的神经网络模型，如：ST-ResNet用于城市交通流量的预测，YOLO用于行人检测等。这些模型均使用了一些经典的网络结构，如卷积神经网络（CNN），循环神经网络（RNN）等。深度学习软件框架在交通领域的应用深度学习软件框架在交通领域的应用来源：沙利文咨询深度学习软件框架在工业制造领域同样具备价值。以钢铁行业为例，其产业链较短，但制造过程流程长、工序多，而中游冶炼环节则占据核心地位。目前，钢铁行业主要存在安环压力大、生产运营增效难等痛点问题。深度学习软件框架助力钢铁行业解决痛点需求，形成了安环

22、管理、生产运营优化两大应用模式，及安全监控、能耗管理、排放控制、工艺优化等六大应用场景。深度学习软件框架在工业制造领域的应用深度学习软件框架在工业制造领域的应用来源：沙利文咨询中国深度学习软件框架市场驱动因素近年来，由于深度学习发展所需算力、算法、数据等要素的高位起点以及硬件、软件框架、平台等核心环节间的紧耦合衔接特点，谷歌、微软、百度等头部科技企业加速产业布局，不断完善技术生产工具（深度学习软件框架、数据处理、验证分析、部署监测等完备研发工具链），加速建立全栈智能计算技术体系（形成基础计算理论、芯片、软硬协同、系统协同全栈技术支撑能力），垂直整合生态系统，引领产业整体发展。算力、软件框架、研

23、发平台、技术服务的纵向一体化几乎成为全球头部科技企业的共识，驱使不同环节具备点状竞争力的科技巨头争相探索行业实际应用需求。目前，产业仍为早期发展阶段，任何一个环节的水平化都尚未完全确立。因此，科技巨头加速从自身优势能力出发，延伸至行业应用的多个中间环节，试图以这种方式准确把握智能时代的需求方向。战略布局模式主要分为三类：一是以亚马逊、微软为代表的云服务企业不断强化其智能服务能力，紧抓面向基础技术服务、研发训练与推断等智能计算需求，布局深度学习软件框架等技术生产工具及底层专用硬件芯片；二是谷歌、百度等AI技术优势显著的AI头部企业基于先进算法和技术优势布局深度学习软件框架，并以此为核心上下延伸，

24、构建智能服务生态体系；三是以英伟达为代表的AI芯片巨头加速提升面向智能任务的芯片性能，积极丰富性能库、编译器等软件配套，通过多样化方式壮大开发者社区及产业合作伙伴规模，力图构建软硬协同的产业生态体系。头部企业加速布局，产业生态体系逐步完善垂直一体化布局垂直一体化布局来源：中国信通院主体主体政策名称政策名称政策内容政策内容中国国务院关于印发新一代人工智能发展规划的通知确定新一代人工智能发展三步走战略，人工智能上升为国家战略中国全国人大常委会2020年度立法工作计划重视对人工智能、区块链、基因编辑等新技术新领域相关法律问题的研究，继续推动理论研究工作常态化、机制化，发挥科研机构、智库等外脑作用，加

25、强与有关方面的交流合作，抓紧形成高质量的研究成果中国国家创新驱动发展战略纲要加强类人智能、自然交互与虚拟现实等技术研究，推动宽带移动互联网、云计算、物联网、大数据、高性能计算、移动智能终端等技术研发和综合应用中国中华人民共和国国民经济和社会发展第十四个五年规划纲要培育壮大人工智能、大数据等新兴数字产业，“推动通用化和行业性人工智能开放平台建设。在战略性的基础核心领域，规划重点提及了人工智能、量子信息、集成电路、生命健康、脑科学等八大前沿领域。这些被重点强调的领域或能够在“十四五”期间获得更多资金、政策、人才等多方面的支持中国国务院关于积极推行“互联网+”行动的指导惫见加快人工智能核心技术突破，

26、促进人工智能在智能家居、智能终端、智能汽车、机器人等领域的推广应用，培育若干引领全球人工智能发展的骨干企业和创新团队，形成创新活跃、开放合作、协同发展的产业生态中国中国制造2025把智能制造作为两化深度融合的主攻方向；着力发展智能装备和智能产品，推进生产过程智能化，全面提升企业研发、生产、管理和服务的智能化水平中国国家新一代人工智能标准体系建设指南到2021年，明确人工智能标准化顶层设计，完成关键通用技术、关键领域技术、伦理等20项以上重点标准的预研工作。到2023年，初步建立人工智能标准体系，重点研制数据、算法、系统、服务等重点急需标准，并率先在制造、交通、金融、安防、家居、养老、环保、教育

27、、医疗健康、司法等重点行业和领域进行推进中国新型数据中心发展三年计划（2021-2023年）推动新型数据中心与人工智能等技术协同发展，构建完善新型智能算力生态体系中国新一代人工智能伦理规范旨在将伦理道德融入人工智能全生命周期，为从事人工智能相关活动的自然人、法人和其他相关机构等提供伦理指引中国新一代人工智能发展规划到 2025 年，人工智能基础理论实现重大突破，部分技术与应用达到世界领先水平，人工智能成为带动我国产业升级和经济转型的主要动力，智能社会建设取得进展中国“十三五”国家科技创新规划发展先进技术，重点加强云计算、智能计算等技术研发及应用。重点发展大数据驱动的类人工智能技术方法；在基于大

28、数据分析的类人工智能方向取得重要突破，实现类人视觉、类人听觉、类人语言处理和类人思维，资产智能产业的发展中国中华人民共和国国民经济和社会发展第十三个五年规划纲要加快信息网络新技术开发应用，重点突破大数据和云计算关键技术、自主可控操作系统、高端工业和大型管理软件、新兴领域人工智能技术11中国深度学习软件框架市场驱动因素上升国家战略地位，政策环境持续优化中国高度重视人工智能技术进步与行业发展，人工智能已上升为国家战略。政策的密集出台为深度学习软件框架行业发展提供了沃土，助力技术逐渐转化为行业实践。中国加快AI行业布局与规划，先后出台了中国制造2025、新型数据中心发展三年计划（2021-2023年

29、）等一系列重要文件。政策着重关注深度学习软件框架基础技术的发展，及其与实体经济（制造、农业、物流等行业）的融合应用。社会各界对人工智能的认识趋于成熟，对人工智能的未来应用场景（如机器人、智能制造）和支撑技术（如深度学习等）给予高度关注。在2021年3月颁布的中华人民共和国国民经济和社会发展第十四个五年规划中，“深度学习框架”被列入“新一代人工智能”领域，成为国家重点支持的前沿创新技术。规划提到，构建深度学习框架等开源算法平台，并在学习推理决策、图像图形、语音视频、自然语言识别处理等领域创新与迭代应用。在政策支持之下，行业将迎来蓬勃发展期。人工智能上升为国家战略人工智能上升为国家战略来源：沙利文

30、咨询39%39%30.1万件美国中国16.8%16.5%14.9%智能交通智能制造智能机器人计算机视觉与图像机器学习中国深度学习原创技术创新正处于前所未有的活跃期。从全球专利分布来看，中国人工智能领域专利申请量占全球总量的39%，排名第一；美国占比25%，排名第二；日本、韩国依次分别占比10%和9%。由此可见，全球83%的人工智能专利申请集中在中美日韩4个国家。截止2021年9月，中国人工智能领域申请专利共计909401件，授权专利253811件。其中，2021年，百度深度学习专利申请量排名全球第一。 截至2022年4月，百度全球人工智能专利申请超过2.2万件。同时，中国视觉、语音等智能任务全

31、球比赛的参与度和入榜率极高，多次在对话式问答、阅读理解、人脸识别等全球比赛中刷新智能任务的SOTA13模型准确率。中国发起的全球性比赛规模不断扩大，iFLYTEK A.I.开发者大赛2020年参与团队达9000余支。2021年，百度飞桨AI Studio人工智能学习与实训社区用户量已经突破100万。中国视觉、语音、自然语言处理等基础智能任务的工程实现水平全球领先，算法模型的二次创新优化能力也非常突出。中国人工智能算法技术的发展着重于对业内主流算法模型的吸收改造与产业化应用，一方面，中国拥有一批追求算法技术极致优化的人工智能企业，如百度推出的ERNIE大模型支持词汇、语法、语义三个层次的预训练任

32、务，可获得更多的潜在语义信息，在中文任务上已超越Bert模型水平。另一方面，中国在视觉、语音、自然语言处理等多类基础任务的全球比赛中名列前茅已成常态。人工智能领域的比赛加速升级，从粗粒度图像识别、目标检测等较为简单的任务向人体识别、推断理解等复杂任务转变。随着上述技术在未来不断实现创新突破，结合近年国家对AI行业的规划布局引导，深度学习技术融合创新生态系统将逐渐形成。2021年发布的十四五规划中提出形成以企业为主体、市场为导向的产学研用深度融合技术创新体系，引导创新生态体系升级为连通企业、高校、研究院所、政府等创新主体的共同体生态。12原创技术创新突破，打造融合创新共同体中国深度学习软件框架市

33、场趋势洞察51%51%中国人工智能中国人工智能投融资投融资及以前比例（及以前比例（20212021）百度的百度的ERNIEERNIE模型模型两倍以上两倍以上中国专利申请总量于全球总量的占比中国专利申请总量于全球总量的占比中美专利申请总量比较中美专利申请总量比较540.11140.31231.523731863.326393996.400400050002015年2016年2017年2018年2019年2020年2021年中国AI投资金额中国AI投资笔数中国人工智能投资方向（中国人工智能投资方向（20212021）18%中国人工智能投资额与投资笔数（亿元）中国人工智能投资额

34、与投资笔数（亿元）17.5%基于Bert的预训练思想词汇语法语义潜在语义信息来源：IT桔子当前，全球人工智能产业生态雏形渐显，中国的AI生态亦随之稳健发展。从产业链全局角度看，深度学习软件框架是芯片、应用开发等多个主体集聚的环节，伴随时间积累，将具有很强的不可替代性和制约性。目前，谷歌、Meta等人工智能全球头部企业围绕深度学习软件框架构建的核心生态已初步形成。聚焦国内，百度则于2021年7月建立了国内首个飞桨人工智能产业赋能中心。该中心将充分发挥辐射带动作用，在产业赋能、人才培养和生态共建等方面展开工作。同时，飞桨将在不同区域进行产业赋能，聚焦当地产业集群发展重点，深度赋能企业智能化升级。从

35、产业主体角度看，人工智能产业既对信息产业自身的产品形态、运行模式产生很大变革，同时影响传统行业生产运营方式和运行效率。因此，产业参与主体几乎涵盖全信息产业以及传统行业企业，云计算、芯片、ICT设备、互联网、智能技术服务、垂直行业AI企业和传统行业企业等多主体正在围绕自身优势不断摸索产业生态模式。一方面，头部企业将构建开源的深度学习软件框架生态，试图形成应用接口和硬 件 适 配 的 双 向 主 导 权 。 首 先 ，TensorFlow、PyTorch等开发框架将不断完善其高级语言接口，推动业内大量的算法模型和智能应用基于其高级语言接口进行研发。由于转换框架会影响模型性能并增加研发成本，长此以往

36、将形成深度绑定。此外，框架市场份额领先的AI头部企业正在依托框架与智能芯片适配构建标准化硬件接口，有望进一步增强其对智能芯片的话语权。另一方面，产业主体将以自身优势切入，初步形成四种小生态模式（见下图）。13中国深度学习软件框架市场趋势洞察生态体系雏形渐显，多种小生态同步形成开发框架算法模型和智能应用转换带来的影响完善高级语言接口加强形成深度绑定标准化应用接口和硬件接口适配智能芯片头部企业构建头部企业构建的深度学习软件的深度学习软件框架生态框架生态深度学习中心打造加速推动人工智能AIAI基础设施生态基础设施生态打造垂直行业技术服务平台打造垂直行业技术服务平台和解决方案生态和解决方案生态构建围绕

37、基础科研、成果转构建围绕基础科研、成果转化、产业培育多维度的创新化、产业培育多维度的创新生态生态构建软硬协同产业生态构建软硬协同产业生态行业云解决方案Microsoft Cloud for Healthcare联合OpenAI建立智能超算中心开发框架基础技术服务平台丰富性能库、编译器、编程框架等扩大开发者社区及产业合作伙伴规模各行业学术和科学研究多维度产业生态应用人工智能厂商人工智能厂商AIAI技术服务企业技术服务企业互联网互联网企业企业传统企业传统企业硬件厂商硬件厂商产业主体形成四小生态模式产业主体形成四小生态模式来源：沙利文咨询来源：沙利文咨询几家逐鹿几家逐鹿目前主流深度学习软件框架格局逐

38、步清晰，已从百花齐放向几家逐鹿转变。微软 CNTK 、 日 本 初 创 企 业 首 选 网 络（preferred networks）Chainer、加拿大蒙特利尔大学主导的Theano等早期热点框架已通过与主流框架合并或直接停止更新的方式退出历史舞台。谷歌开发的TensorFlow依托工业界的部署优势持续位于第一，Meta的PyTorch（合并Caffe2）凭借其易用性迅速突起，在各大顶级学术会议论文中占比超过50%，百度推出中国首个开源框架飞桨PaddlePaddle兼具效率与灵活性，有赶超势头。各平台在稳定性、调试难度、执行速度、内存占用等方面各有所长。“开源+巨头支持”是目前市面上深度

39、学习软件框架的主流模式，主流框架普遍由行业头部企业介入并主导内部应用和搭建。深度学习软件框架竞争焦点已从模型库转移至易用性和硬件适配优化。高级语言接口与硬件适配优化成为开源框架构筑壁垒的关键。一方面，高级语言接口封装后端框架中关键的模型构建、训练等功能，降低研发门槛。目前，三大主流框架加速绑定或构建高级语言接口，已出现合作圈地现象。TensorFlow与Keras形成排他性合作，提升框架易用竞争力，与近期以易用性为优势快速提升地位的PyTorch抗衡；MXNet与Gluon联合，由亚马逊与微软共同维护；PyTorch以Torch和Caffe2作为后端框架，内部先天 构 筑 高 级 语 言 接

40、口 ； 百 度 飞 桨PaddlePaddle则具备“动静统一”的编程模式，兼顾灵活性和效率。另一方面，硬件适配优化试图解决多样硬件编译工具导致的适配复杂和性能参差不齐问题，统一编译工具与编译语言成为主流开源开发框架的布局重点。目前，谷歌、脸书加速构建统一的编译语言（IR），试图引导硬件厂商主动适配，获取框架适配的话语权。14中国深度学习软件框架市场趋势洞察格局逐步清晰，从百花齐放向几家逐鹿转变开源开放框架主导权开源开放框架主导权华为MindSporePyTorchTensorFlow旷视MegEngine百度飞桨PaddlePaddle清华大学Jittor国产框架加速升级国产框架加速升级微软

41、CNTK日本初创企业首选网络Chainer蒙特利尔大学Theano合并或停更合并或停更百花齐放百花齐放高级语言接口易用性高级语言接口易用性硬件适配优化硬件适配优化竞争焦点竞争焦点目前，三大主流框架加速绑定或构建高级语言接口，已出现合作圈地现象。TensorFlow与Keras形成排他性合作，MXNet与Gluon联合，PyTorch以Torch和Caffe2内部先天构筑高级语言接口，百度飞桨PaddlePaddle则具备“动静统一”的编程模式。硬件适配优化试图解决多样硬件编译工具导致的适配复杂和性能参差不齐问题，统一编译工具与编译语言成为主流开源开发框架的布局重点。目前，谷歌、脸书加速构建统一

42、的编译语言（IR），试图引导硬件厂商主动适配，获取框架适配的话语权。60%015中国深度学习软件框架市场进入壁垒分析重要指标提高促进企业市场地位项目中标品牌知名度创造条件技术壁垒技术壁垒基于认知层面的算法程度有待进步更简易API提供，更丰富的实际业务部署方式的趋势难完成多种类型开发语言的转化无法快速开发产品29%美国AI人才在中国接受本科教育的比例全球AI人才整体供给340万人深度学习人才仅9.5万人中国AI人才仅5万人全球顶尖AI人才定居美国的比例人工智能人才缺口达500多万人才壁垒人才壁垒资金壁垒资金壁垒品牌壁垒品牌壁垒技术壁垒技术壁垒：作为深度学习实现的核心，算法将成为未来中国行业最大的

43、竞争门槛。未来，监督学习、非监督学习和强化学习三个人工智能重点范畴的算法竞争将进入白热化阶段。就目前中国人工智能算法总体发展而言，感知层算法虽已获得阶段性突破，但基于认知层面的算法程度还待进步，这也是将来竞争的核心范畴。此外，由于在人工智能技术及计算机基础技术方面积累不足，传统企业不仅会在实际使用深度学习软件框架进行深度学习模型训练及应用开发时陷入无法快速开发产品的困境，同时也很难完成多种类型开发语言转化。因此图形化开发需求，更简易的API提供，更丰富的实际业务部署方式将是未来趋势。人才壁垒人才壁垒：人工智能深度学习领域的人才需求日益增长与人才稀缺的矛盾成为制约当前中国深度学习软件框架行业快速

44、发展的瓶颈之一。截至2020年底，全球顶尖AI人才近60%定居美国，其中在中国接受本科教育的人才占比最高，达到29%。此外，全球AI人才整体供给在340万人左右，其中深度学习人才仅9.5万人且流动性较大，进一步加大缺口。资金壁垒资金壁垒：深度学习软件框架的前期投入、后期持续投入及行业特性等因素决定企业资金需求较高从而构成资金壁垒。品牌壁垒品牌壁垒：招标过程中，企业品牌是招标方专家组考察企业实力的重要指标，具有较高品牌知名度的企业往往借助品牌优势占据较为有利的地位。同时，重大项目中标又进一步提升了企业的知名度，为企业开拓市场创造有利条件。16中国深度学习软件框架市场关键成功因素分析产品能力：技术

45、实力产品能力：技术实力安全问题安全问题数据的安全使用第三方数据安全保密处理资源共享资源共享保证已有的开源技术进行封装后实现资源共享运算效率、分布式训练线性加速比表现要求高应用在工业领域定制化要求高使框架供后续批量使用的情况提供支持运算效率运算效率定制化定制化生态能力：生态规模生态能力：生态规模能为深度学习软件框架提供规模化算力支持的中国企业有限，整体在硬件设施方面准备不足产业的友好度框架的用户粘性无停机更新模型间无缝切换可预测时间的批处理形成行业惯性以工程师为主导已创建超过47.6万个模型对实际问题的解决方案实践落地飞行器森林巡检方案200倍40%100%巡检范围落地东南亚155个森林公安分局

46、CT影像分析AI模型病灶识别精准度达到92%OPPO的OS推荐系统训练速度提升8倍制胜中国深度学习软件框架市场关键因素有三，即技术实力、生态规模和功能体验。市场需求通过技术实力以满足，可反映为厂商的产品能力；硬件算力、社区教育生态则是底层支撑，主要体现为企业的生态能力；功能体验则决定用户粘性，可呈现为厂商的应用能力。在竞争格局渐趋明晰的过程中，相关厂商将在三大成功要素上展开激烈角逐。其中，百度飞桨PaddlePaddle不仅具备深厚的技术积累，在产业实践落地层面亦拥有极强的竞争优势。关键发现应用能力：功能体验应用能力：功能体验硬件生态硬件生态教育社区教育社区良好的教育、社区生态培育，将使深度学

47、习软件框架被更加广泛和频繁的使用17章节三章节三 中国深度学习软件框架主要厂商竞争力评价中国深度学习软件框架主要厂商竞争力评价评价模型及指标体系一级指标一级指标二级指标二级指标权重权重应用能力应用能力中国企业市场应用覆盖20%行业应用广度40%企业应用深度40%产品能力产品能力深度学习框架功能完备性20%技术前瞻性使用效率运算效率兼容性产业级模型库模型库丰富度30%算法配套工具链的完善度深度学习工具链及企业级平台工具产品形态的丰富度20%企业落地成本和全流程落地体验服务质量30%生态生态能力能力社区生态繁荣度20%教育生态繁荣度40%硬件生态繁荣度40%应用能力：应用能力：中国深度学习软件框架

48、厂商市场应用覆盖范围越广，市场份额越大，体现企业具备更强和更完善的能力去满足不同客户的定制需求。此外，深度学习软件框架的应用行业数量越多，细分应用场景数量越多，则证明企业覆盖的行业应用、场景应用更广泛。基于深度学习软件框架的产品数量越多，针对不同场景的解决方案数量越多，则证明该厂商在企业应用深度方面远超于其他厂商，其产品拥有更好的兼容和适应性，进而能为用户提供稳定且更有保障的使用体验。产品能力：产品能力：主要从深度学习框架功能完备性、产业级模型库丰富度、深度学习工具链及企业级平台、服务质量等多个维度衡量中国深度学习软件框架厂商的产品能力。生态能力：生态能力：主要从社区生态繁荣度、教育生态繁荣度

49、、硬件生态繁荣度这三个维度来评价深度学习软件框架的生态能力。生态能力越强，则证明深度学习软件框架被更加广泛和频繁地使用，其生态合作、产业协作能力越强。三方维度诠释主要厂商综合竞争力18深度学习软件框架厂商竞争格局厂商竞争力厂商竞争力评价模型结果评价模型结果本报告根据评价深度学习软件框架在应用、产品、生态能力三个维度的综合表现，对比主流深度学习软件框架厂商的综合竞争力。报告结果得出：深度学习软件框架厂商中百度竞争力综合排名第一，在应用能力、技术能力和生态能力层面均具备显著优势。关键发现以顺时针方向，排名由高到低备注：本排名依据沙利文厂商竞争力评价模型结果结合中国市场份额得出过去几年来，百度飞桨官

50、方发布的产业级开源算法模型已经超过了400个，并发布13个精度与性能平衡的产业级PP系列模型，覆盖工业、农业、交通、科学计算等20多个行业领域。近年来，凭借深厚的工业基因，飞桨在行业关键和前沿场景的渗透率不断提升。飞桨在中国市场上芯片适配数量稳居一位，形成软硬协同优势。飞桨与英特尔、英伟达、海光、飞腾等在内的25家国内外硬件厂商，完成了超过30种芯片或IP的适配和优化。作为英伟达支持的三大框架之一，飞桨是英伟达唯一深度适配的中国框架。0%10%20%30%40%50%60%70%80%90%100%2019.12019.82020.62021.32021.1通用场景行业衍生场景行业关键场景前沿

51、场景深度学习软件框架厂商介绍百度飞桨是中国首个自主研发、功能丰富、开源开放的产业级深度学习软件框架，核心技术积累深厚。2016年8月百度开源了深度学习框架PaddlePaddle，并于2019年正式中文命名为“飞桨”。截至2021年，飞桨平台已拥有406万开发者，服务15.7万企事业单位，创建模型达47.6万个。市场份额方面，百度飞桨在中国综 合 市 场 份 额 已 超 越 TensorFlow 和PyTorch，位居中国深度学习市场第一。飞桨较为注重深度学习技术的产业应用能力，不仅在业内率先实现了动静统一的框架设计，而且在保证开发灵活性的同时，更加适配产业应用场景，从实际产业需求出发形成了一

52、套满足产业级业务需求的深度学习开源平台。19百度飞桨产业级深度学习开源开放平台百度飞桨产业级深度学习开源开放平台百度飞桨行业各场景渗透率百度飞桨行业各场景渗透率百度飞桨适配芯片百度飞桨适配芯片来源：百度官网来源：百度官网来源：百度AICA培养计划飞桨PaddlePaddle：百度产业级深度学习开源开放平台工具组件AutoDL自动化深度学习PARL强化学习Paddle Quantum量子机器学习PGL图神经网路PaddleFL联邦学习PaddleX全流程开发工具PaddleHelix生物计算PaddleHub 预训练模型应用工具VisualDL可视化分析工具PaddleCloud云上任务提交工具

53、端到端开发套件ERINEKit语义理解PaddleDetection目标检测PaddleSeg图像分割PLSC海量类别分类PaddleGAN生成对抗网络PaddleOCR文字识别PaddleClas图像分类Parakeet语音合成ElasticCTR点击率预估基础模型库PaddleNLP文心大模型PaddleSpeechPaddleRecPaddleCV核心框架开发训练推理部署动态图静态图大规模分布式训练 产业级数据处理PaddleSlimPaddleInferencePaddleServingPaddle LitePaddle.js安全与加密PALM多任务学习AI Studio学习与实训社区

54、规格规格适配硬件适配硬件CPUIntel龙芯申威飞腾华为海光兆芯深度学习训练芯片数据中心NVIDIA昆仑芯海光华为Graphcore 寒武纪天数智芯深度学习推理芯片/IP厂商数据中心NVIDIA昆仑芯 寒武纪华为算能登临移动/边缘计算ARM高通华为苹果Imagination 芯原NVIDIA联发科 瑞芯微展锐晶晨安霸FPGA边缘计算IntelXILINX深度学习软件框架厂商介绍谷歌大脑自2011年成立起开展了面向科学研究和谷歌产品开发的大规模深度学习应用研究，其早期工作即是Tensor-Flow的前身DistBelief。它在研究和商业应用中的不同Alphabet公司中的使用迅速增长。2015

55、年11月，在DistBelief的基础上，谷歌大脑完成了对“第二代机器学习系统”TensorFlow的开发并对代码开源。相比于前作，TensorFlow在性能上有显著改进、构架灵活性和可移植性也得到增强。TensorFlow主要用于进行机器学习和深度神经网络研究， 同时也可以应用于众多领域。由于谷歌在深度学习领域的巨大影响力和强大的推广能力，TensorFlow一经推出就获得了极大的关注。此后TensorFlow快速发展，截至稳定API版本2.0，已拥有包含各类开发和研究项目的完整生态系统。Training librariesTraining librariesInference libsIn

56、ference libsPython clientPython clientC+ clientC+ clientVarVarConstConstDistributed masterDistributed masterDataflow executorDataflow executorC APIC APICPUCPUGPUGPUConv2DConv2DReLUReLUQueueQueueRPCRPCRDMARDMA推断的库推断的库训练的库上层上层APIAPI底层底层APIAPI分布主机分布主机数据流执行器数据流执行器操作实现操作实现设备层设备层网络层网络层20图构建图构建图传递图传递图剪枝图剪枝

57、图分裂图分裂图二次分裂图二次分裂图运行图运行用户在client中基于TensorFlow的多语言编程接口，添加算子，完成计算图的构造。client开启session，通过它建立和master之间的连接。执行session.run()时，将构造好的graph序列化为graphDef后，以protobuf的格式传递给master。worker根据当前可用硬件资源，如CPU GPU，将Graph Partition按照op算子设备约束规范。worker依照op在kernel中的实现，完成op的运算。设备间数据通信可以使用send/recv节点，而worker间通信，则使用GRPC或RDMA协议。ma

58、ster将最小子图分裂为多个Graph Partition，并注册到多个worker上。一个worker对应一个Graph Partition。master根据session.run()传递的fetches和feeds列表，反向遍历全图full graph，实施剪枝，得到最小依赖子图。TensorFlowTensorFlow模型构造和执行流程模型构造和执行流程TensorFlowTensorFlow系统架构系统架构TensorFlow ：谷歌全面生态系统来源：谷歌官网来源：谷歌官网21深度学习软件框架厂商介绍PyTorch是Meta开发的用于训练神经网络的开源Python机器学习库，也是Met

59、a倾力打造的首选深度学习软件框架。2017年1月首次推出，Meta人工智能研究院（FAIR）在GitHub上开源了PyTorch，迅速占领了GitHub热度榜榜首。Meta用Python重写了基于Lua语言的深度学习库Torch，PyTorch不是简单的封装Torch提供Python接口，而是对Tensor上的全部模块进行了重构，新增了自动求导系统，使其成为最流行的动态图框架，这使得PyTorch对于开发人员更 为原生 ，与TensorFlow 相 比 也 更 加 年 轻 活 力 ，PyTorch继承了Torch灵活、动态的编程环境和用户友好界面，支持以快速和灵活的方式构建动态神经网络，还允许

60、在训练过程中快速更改代码而不妨碍其性能，即支持动态图形等尖端AI模型的能力，是快速实验的理想选择。PyTorch专注于快速原型设计和研究的灵活性，很快就成为AI研究人员的热门选择，流行度增长十分迅猛。自2017年开源以来，陆续推出了Tensor与Numpy互转、支持Windows 系 统 、 ONNX 转 换 、 支 持Tensorboard、分布式训练等功能。数据加载和处理数据加载和处理构建神经网络构建神经网络模型推断和兼容性模型推断和兼容性torch.nn模块用于创建神经网络。它提供了所有常见的神经网络层，如全连接层、卷积层、激活和损失函数等。一旦创建了网络架构并且准备好将数据馈送到网络，

61、更新权重和偏差的，以便网络开始学习。模型经过训练后可用于预测测试,甚至测试新数据集的输出，这个过程被称为模型推理。PyTorch 还提供TorchScript，可用于独立于 Python 运行时运行模型。PyTorch 通过torch.utils.data提供相同的实用程序。该模块中的两个重要类是Dataset和DataLoader。训练数据训练数据创建网络创建网络训练网络训练网络互操作模型互操作模型Torch.utils.dataTorch.nntorch.optimTorch.autogradPyTorchPyTorch工作流及关联模块工作流及关联模块PyTorchPyTorch库深度学习

62、流程库深度学习流程测试数据测试数据训练模型训练模型得到预测得到预测发布模型发布模型torch.onnxTorch.jittorch.hubPyTorch ：Meta Python机器学习库来源：Meta官网来源：Meta官网MindSpore是华为于2020年推出的一种全新的深度学习计算框架，旨在实现易开发、高效执行、全场景覆盖三大目标。为了实现易开发的目标，MindSpore采用基于源码转换（SCT）的自动微分（AD）机制，该机制可以用控制流表示复杂的组合。函数被转换成函数中间表达（IR），中间表达构造出一个能够在不同设备上解析和执行的计算图。在执行前，计算图上应用了多种软硬件协同优化技术，

63、以提升端、边、云等不同场景下的性能和效率。由于采用了基于源码转换的自动微分机制，所以动态图和静态图之间的模式切换非常简单。为了在大型数据集上有效训练大模型，通过高级手动配置策略，MindSpore可以支持数据并行、模型并行和混合并行训练，具有很强的灵活性。此外，MindSpore还有“自动并行”能力，可实现快速并行策略。22深度学习软件框架厂商介绍C/C+C/C+PythonPythonR RJuliaJuliaND ND ArrayArraySymbolic ExprSymbolic ExprBinderBinderKV KV StoreStoreDep EngineDep EngineCo

64、mmCommBLASBLASCPUCPUGPUGPUAndroidAndroidIOSIOSMindSporeMindSpore训练和验证训练和验证ModelZooMindScience科学技术套件MindSpore高阶拓展特效MindArmourMindSporeMindSpore IRIRMindSpore Hub下载预训练模型下载预训练模型MindSpore：华为全场景AI计算框架MxnetMxnet系统框架系统框架MXNet是亚马逊选择的轻量级深度学习库。它拥有类似于Theano和TensorFlow的数据流图，为多GPU配置提供了良好的配置，有着类似于Lasagne和Blocks更高

65、级别的模型构建块，并且可以在你可以想象的任何硬件上运行。对Python的支持只是其冰山一角MXNet同样提供了对R、Julia、C+、Scala、Matlab和 Java的接口。MXNet是一个旨在提高效率和灵活性的深度学习框架。像MXNet这样的加速库提供了强大的工具来帮助开发人员利用GPU和云计算的全部功能。虽然这些工具通常适用于任何数学计算，但MXNet特别强调加速大规模深度神经网络的开发和部署，并集成了Gluon接口。其优势在于具有兼容性、扩展性以及移植性最强、支持混合编程和多种编程语言接口、支持生成对抗网络（GAN）模型。MXNet：亚马逊轻量级深度学习库MindInsight模型导

66、出模型导出模型导入模型导入MindSpore Serving端边增量学习MindSpore LiteMindSporeMindSpore全场景深度学习框架全场景深度学习框架来源：亚马逊官网来源：华为官网23附录附录名词解释ITUITU国际电信联盟国际电信联盟 ：国际电信联盟是联合国负责信息通信技术（ICT）事务的专门机构，旨在促进国际上通信网络的互联互通并制定技术标准以确保实现网络和技术的无缝互连。ITU从2016年开始开展人工智能标准化研究，目前是国际人工智能标准化领域的权威机构。ISOISO国际标准化组织国际标准化组织：国际标准化组织的主要活动是制定国际标准，协调世界范围的标准化工作，以及

67、与其他国际组织进行合作，共同研究有关标准化问题。ISO主要在工业机器人、智能金融、智能驾驶方面等开展了人工智能标准化研究，是国际标准化领域中一个十分重要的组织。GPUGPUGraphics Processing UnitGraphics Processing Unit : : GPU是图形处理器，又称显示核心、视觉处理器、显示芯片，是一种专门在个人电脑、工作站、游戏机和一些移动设备（如平板电脑、智能手机等）上做图像和图形相关运算工作的微处理器。GPU使显卡减少了对CPU的依赖，能很好地解决电影级图像质量需要解决的透明性、高质量反走样、运动模糊、景深和微多边形染色等问题。ASICASICApplicationApplication- -Specific Integrated Circuit Specific Integrated Circuit : : ASIC是专用集成电路，是针对特定用户要求和特定电子系统设计、制造的专有应用程序芯片，其计算能力和计算效率可根据算法需要进行定制。ASIC芯片广泛应用于人工智能设备、虚拟货币挖矿设备、军事国防设备等智慧终端。IoTIoT物联网物联网 : : 物联网是指互联网的延伸，其终端是嵌入式计算机系统及其配套的传感器，硬件或产品连上网所发生的数据交互称为物联网。附注：感谢百度对本报告提供的相关数据资源支持