1、 数据中心功率密度演进 白皮书 编号 ODCC-2021-05002 开放数据中心委员会 2021-09-15 发布 ODCC-2021-05002 数据中心功率密度演进白皮书 i 目目 录录 前 言.iv 版权说明.v 数据中心功率密度演进白皮书.1 1.数据中心功率密度基本情况分析.1 1.1.数据中心功率密度定义.1 1.2.数据中心功率密度演进发展.1 1.3.功率密度变化给数据中心带来的影响.4 1.1.1.对于供配电系统的影响.4 1.1.2.对于制冷系统的影响.4 1.1.3.对于运维管理的影响.4 1.1.4.对于数据中心成本的影响.5 2.运营商、第三方服务商及互联网企业数据

2、中心功率密度现状.5 2.1.电信运营商数据中心基本情况.5 2.1.1.中国移动.5 2.1.2.中国电信.5 2.1.3.中国联通.6 2.2.电信运营商数据中心功率密度分析.6 2.2.1.电信运营商在用数据中心整体功率密度.6 2.2.2.电信运营商在建数据中心整体功率密度.7 2.3.第三方服务商数据中心功率密度分析.8 ODCC-2021-05002 数据中心功率密度演进白皮书 ii 2.3.1.第三方服务商总体情况.8 2.3.2.第三方服务商功率密度情况.9 2.4.互联网行业数据中心功率密度分析.10 2.4.1.百度.11 2.4.2.阿里巴巴.11 2.4.3.腾讯.11

3、 2.5.早期部分数据中心功率密度偏低原因.12 2.5.1.业务需求不充足方面.12 2.5.2.基础设施不完备方面.12 2.5.3.短期收益不显著方面.12 3.未来数据中心高功率密度演进驱动因素.12 3.1.芯片技术提升和发展.12 3.2.高功率应用和产品的普及.13 3.3.承载业务算力要求提升.13 3.4.新型数据中心兴起.13 3.5.基础设施（供电+制冷）技术发展迅猛.13 3.5.1.高密度数据中心高效供电技术.13 3.5.2.高密度数据中心制冷技术.14 3.5.3.智能供冷技术.14 3.6.高密度数据中心 TCO 更低.14 3.7.数据中心资源高效利用.15

4、4.数据中心功率密度规划设计理念.15 ODCC-2021-05002 数据中心功率密度演进白皮书 iii 4.1.简单规划步骤.15 4.2.功率密度规范制定方法.15 4.3.功率密度规划策略.16 4.4.总体 TCO 最优理念.16 5.推动数据中心高功率密度发展.16 5.1.发展背景.16 5.2.发展意义.16 5.3.发展展望.17 5.3.1.全方位推动数据中心建设优化.17 5.3.2.提升数据中心总体利用率.17 5.3.3.制定数据中心功率密度规范.17 5.3.4.为数据中心功率密度演进提供政策保障.17 5.3.5.推动高密度数据中心试点示范.17ODCC-2021

5、-05002 数据中心功率密度演进白皮书 iv 前前 言言 数据中心的生命周期包括规划和选址、设计、建设、运行和评估等阶段。规划是数据中心生命周期的第一个阶段，而功率密度是在数据中心规划、设计阶段需要明确的重要参数，当前业界普遍接受用“单机架用电量”参数来表示数据中心功率密度。根据研究来看，一个数据中心的功率密度发展不仅仅与 IT 设备的性能和功率有关，还与其所承载业务、功能类型有关。本报告着重调研了解我国电信运营商、第三方服务商、互联网公司数据中心当前功率密度状况，分析不同主体功率密度的差异。并结合成本、IT 技术演进等各个因素长远考虑，提出一种数据中心最优化密度模型，最终对数据中心功率密度

6、发展提出建议，助力政府相关政策的出台和数据中心产业的长足发展。本报告从数据中心功率密度发展基本情况，运营商、第三方服务商及互联网企业数据中心功率密度现状及原因分析，未来高功率密度演进驱动因素，功率密度规划设计理念和推动数据中心功率密度发展五个方面进行展开。起草单位：中国信息通信研究院（云计算与大数据研究所）、英特尔（Intel）、英伟达（NVIDIA）起草者：谢丽娜、李洁、李宁东、李建儒、阮伯超、宋川、夏宇阳、侯志强、易明、邹宁、宋庆春、郭亮、朱朋志、赵精华 ODCC-2021-05002 数据中心功率密度演进白皮书 v 版权说明版权说明 ODCC（开放数据中心委员会）发布的各项成果，受著作权

7、法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。ODCC-2021-05002 数据中心功率密度演进白皮书 1 数据中心功率密度演进白皮书数据中心功率密度演进白皮书 1.数据中心功率密度基本情况分析数据中心功率密度基本情况分析1.1.数据中心功率密度定义数据中心功率密度定义 功率密度指单位模块数据中心的用电量，业界用于表达功率密度的参数主要有两个：单位机房面积用电

8、量和单机架用电量。但由于“面积”参数的划定范围容易产生歧义，同时不同数据中心、不同系统配置导致的空间占用差距较大，所以该指标并未在业界作为功率密度参数广泛应用。单机架用电量，通常用 kW/机架来表示。该参数可以直观反映单个机架的装机能力。当前，我国互联网数据中心的 IT 设备基本均采用机架服务器设备，因此，当前业界普遍接受用单机架用电量指标来衡量数据中心功率密度。1.2.数据中心功率密度演进发展数据中心功率密度演进发展 通过分析，近年来数据中心功率密度在逐年上升。据 Uptime Institute 发布的2020 全球数据中心调查报告 显示，2020 年数据中心平均单机架功率为 8.4kW/

9、机架，相比于 2017 年的 5.6kW/机架有明显的提高，如图 1 所示。ODCC-2021-05002 数据中心功率密度演进白皮书 2 图 1 平均单机架功率发展趋势1 造成此种趋势的原因主要有以下两个方面：从工作负载层面来看，近年来随着科学技术的发展，计算密集型工作负载（例如 AI、IoT、区块链以及增强和虚拟现实）的激增导致承载这些应用负载的服务器设备（虚拟机、刀片机、高密服务器）功耗也大幅增加，数据中心设计功率密度呈现了逐年增大的趋势。另外，根据 Uptime Institute 发布的2021 年数据中心的五大趋势报告，对于许多企业和组织来说，IT 工作负载已经逐渐从现场数据中心向

10、云和托管服务进行转移，如图 2。其中公共云已经成为了某些特定类型工作负载的选择场所，例如应用程序的测试和开发、大数据处理、以及原生于云的新应用程序。公有云使用增加，也使得数据中心设计功率密度呈现了逐年增大的趋势。1 数据来源：Uptime Institute global data center survey 2020R，2020.ODCC-2021-05002 数据中心功率密度演进白皮书 3 图 2 工作负载发展趋势2 从从 IT 基础设施硬件层面来看基础设施硬件层面来看，为了满足高算力负载的需求，同时受摩尔定律的影响，IT 基础设施硬件方面需要叠加多核处理器，或者提高单核心的主频。但无论哪

11、种方式，都会增加 IT 基础设施的功耗，从而使得单机架功率密度越来越高。据 Uptime Institute 发布的2020 全球数据中心调查报告统计，全球 71的数据中心平均功率密度低于 10 kW/机架，只有 16的数据中心平均功率密度高于 20 kW/机架，如图 4。最常见的密度是 59 kW/机架，预计未来数据中心的功率密度将继续上升。2数据来源：Uptime Institute Five data center trends for 2021R，2020.ODCC-2021-05002 数据中心功率密度演进白皮书 4 图 3 2020 年全球数据中心平均单机架功率情况3 1.3.功率

12、密度变化给数据中心带来的影响功率密度变化给数据中心带来的影响 1.1.1.对于供配电系统的影响 数据中心功率密度的提升，未来可能导致当前所设计的备援机制消失。原本以 N+1 设计的 UPS 与冷却空调因为容量不足而被迫全面启用运转，进而丧失备援功能。此外，部署虚拟化方案后，运维人员可以动态地迁移虚拟机，但是数据中心的负载也因此而跟着转变，热点位置变得难以捉摸，电力需求也会跟着变动，数据中心供电方式变革将是高密度数据中心普遍会面临的挑战之一。1.1.2.对于制冷系统的影响 随着服务器与 IT 相关设备的密度越来越高，对设施的要求也越来越严苛。除了更高供电密度之外，散热也成为一项难题。众所周知，数

13、据中心的冷却设计一般假设 IT 的工作负载是平均且分散的情况，但在真实的运行环境中，却可能因为虚拟机的动态迁移或是 IT 设备部署不当，而产生热源分布不均匀的现象。制冷量不足是高密度数据中心同样会面临的挑战。1.1.3.对于运维管理的影响 对于数据中心运维而言，高密度数据中心的发展势必将带来更多维护与管理 3 数据来源：Uptime Institute global data center survey 2020R，2020.ODCC-2021-05002 数据中心功率密度演进白皮书 5 难题。例如，上文所言的数据中心供电备援机制受到挑战，那么可用性和稳定性势必面临压力。如何在高密度配置下，提

14、高数据中心运维管理的效率和水平，使得各项设备能在高功率下安全稳定运行，是数据中心运维管理系统必须解决的问题。1.1.4.对于数据中心成本的影响 设计功率密度的不同会引起机房空间、机柜数量和供配电制冷等基础设施配置的变化，相应地引起成本的变化。通过分析，提高设计功率密度可以减少建筑面积，也可以减少机柜数量。虽然提高设计功率密度将带来供配电和制冷等基础设施的设计复杂性和投入成本增加，如增加机柜配电成本、增加行级空调投入等。2.运营商、第三方服务商及互联网企业数据中心功率密度现状运营商、第三方服务商及互联网企业数据中心功率密度现状 2.1.电信运营商数据中心基本情况电信运营商数据中心基本情况 2.1

15、.1.中国移动 中国移动 IDC 业务基于整合各种基础设施和信息设备（包括互联网接入带宽、局域网络、机房环境以及计算机主机等）的数据中心，通过专业化管理和运营，为客户开展互联网业务或者完成信息化提供场地、环境和各类资源，并提供各种增值业务的服务平台。根据统计，截至 2020 年初，中国移动在全国范围内的在用数据中心个数约为 180 个，在用数据中心标准机架数4约为 61 万架。2.1.2.中国电信 中国电信的主要客户类型是政府、应用服务提供商、内容服务提供商、系统集成商、ISP。其主要服务内容为主机托管，即为客户提供所需的资源，从托管空间到接入服务，从监控到管理，从实时技术支持、安全到各项增值

16、功能专业支 4 1）超大型数据中心是指规模10000 个标准机架(功率 2.5kW)的数据中心；2）大型数据中心是指规模3000 个标准机架小于 10000 个标准机架的数据中心；3）中小型数据中心是指规模3000 个标准机架的数据中心，复合增速 13.32%。ODCC-2021-05002 数据中心功率密度演进白皮书 6 持。根据统计，截至 2020 年初，中国电信在全国范围内的在用数据中心个数约为 200 个，在用数据中心标准机架数约为 50 万架。2.1.3.中国联通 中国联合网络通信集团有限公司（简称“中国联通”）于 2009 年 1 月 6 日在原中国网通和原中国联通的基础上合并组建

17、而成，是中国唯一一家在纽约、香港、上海三地同时上市的电信运营企业。在数据中心方面，根据统计，截至 2020 年初，中国联通的在用数据中心个数约为 220 个，在用数据中心标准机架数约为 33 万架。2.2.电信运营商数据中心功率密度分析电信运营商数据中心功率密度分析5 2.2.1.电信运营商在用数据中心整体功率密度 图 4 不同电信运营商在用数据中心平均单机架功率情况 根据统计，当前电信运营商在用数据中心平均单机架功率约为 4.46kW，其中中国移动在用数据中心平均单机架功率最高约为 4.6kW，中国电信和中国联通在用数据中心平均单机架功率相当，分别约为 4.37kW 和 4.35kW。中国移

18、动近年来在全国范围内积极推进超大型数据中心建设，当前中国移动运营的超大型数据 5 数据来源：中国信息通信研究院云计算与大数据研究所收集整理。4.64.374.354.24.254.34.354.44.454.54.554.64.65中国移动中国电信中国联通ODCC-2021-05002 数据中心功率密度演进白皮书 7 中心个数已超过 20 个，中国联通和中国电信超大型数据中心则仍保持个位数。图 5 不同规模在用数据中心平均单机架功率情况 根据对超大型、大型、中小型数据中心的分类统计发现，电信运营商平均单机架功率与数据中心规模呈正相关关系，数据中心规模越大，部署密度相对越高，平均单机架功率也越高

19、。目前电信运营商超大型数据中心平均单机架功率约为4.86kW，但中小型数据中心仅为 3.69 kW。随着近年中国移动推进大型及以上数据中心建设的步伐加快，中国移动的平均单机架功率已与中国电信和中国联通拉开差距。2.2.2.电信运营商在建数据中心整体功率密度 根据统计，当前电信运营商在全国范围内在建数据中心约 110 个，其中中国移动约占 42%，中国电信约占 35%，中国联通约占 23%。超大型数据中心个数约占 26%，大型数据中心个数约占 45%，中小型数据中心个数约占 29%。4.864.693.690123456超大型大型中小型ODCC-2021-05002 数据中心功率密度演进白皮书

20、8 图 6 不同电信运营商在建数据中心平均单机架功率情况 据统计，当前电信运营商在建数据中心平均单机架功率约为 5.08kW，其中中国电信在建数据中心平均单机架功率最高约为 5.38kW，中国移动次之约为5.01 kW，中国联通最低约为 4.76kW。整体而言，运营商在建数据中心平均单机架功率比在用数据中心高，可知电信运营商数据中心功率密度正在呈现上升趋势，但相较于互联网行业当前的平均功率而言，电信运营商数据中心功率密度仍偏低。2.3.第三方服务商数据中心功率密度分析第三方服务商数据中心功率密度分析 2.3.1.第三方服务商总体情况 数据中心租赁和服务市场的主要建设者和参与者有基础电信运营商、

21、第三方服务商两大类。除电信运营商外，数据中心市场最大的参与群体是第三方服务商。与电信运营商的市场分布高度集中不同，第三方服务商数量多、分布零散。据工信部统计，截至 2020 年初，全国互联网数据中心业务持证企业共 3210 家比上年增加 41.7%，原则上这些企业均有资格开展数据中心经营活动。通过调查后发现，第三方服务商主要分为以下四类：第一类为专营的数据中心服务商。该类企业一直耕耘于数据中心领域，业务种类丰富、运维实力强，可提供全套的数据中心建设、集成、运维服务，如数据港、万国数据、世纪互联等；5.015.384.764.44.54.64.74.84.955.15.25.35.45.5中国移

22、动中国电信中国联通ODCC-2021-05002 数据中心功率密度演进白皮书 9 第二类为上游的基础设施提供商。数据中心产业链上游具备众多的设备、系统等基础设施研发制造商，凭借着技术积累和产业合作，部分基础设施提供商开始直接涉猎数据中心服务市场，集中进行数据中心一体化解决方案实施，如证通电子、科华恒盛等；第三类为下游的数据中心用户方。数据中心产业链下游存在大量的用户企业，出于策略调整、成本节省、灵活调度等方面的因素考虑，部分用户方开始建设自用数据中心，在形成一定的技术实力后，逐步转化为对外提供机柜出租、托管、运维等服务，如宝腾互联（集团母公司中青宝，原主营游戏业）、富春云（集团母公司浙数文化，

23、原主营文化传媒业）。第四类为跨界的数据中心新入者。其它行业集成商、地产投资企业、钢铁企业、农副产品加工商等完全不同领域的企业也在进入数据中心市场，如龙宇燃油、松江股份、杭钢股份、朗源股份等。一般而言，此类企业会通过建立子公司的形式，进行主营业务外的大数据产业布局，实现双主业并行发展。2.3.2.第三方服务商功率密度情况 第三方服务商功率密度指第三方服务商在用数据中心的平均机架功率，根据中国信通院统计调查显示6，2020 年我国在用数据中心功率密度排名前五的第三方服务商，功率密度如图 9 所示，普遍高于电信运营商。6 中国信息通信研究院中国数据中心第三方运营商分析报告（2020）ODCC-202

24、1-05002 数据中心功率密度演进白皮书 10 图 7 第三方服务商平均单机架功率排名前五企业 从第三方服务商的客户分布来看，当数据中心的用户群体集中为大型互联网企业、云服务商，并提供批发业务时，机架的运行功率受上层业务影响会较高；当数据中心的用户群体较分散，或主要面向中小企业提供零售型服务时，平均功率相对较小。以排名第一的上海数据港股份有限公司为例，该企业与阿里巴巴集团在数据中心方面开展了深入合作，主要业务涵盖定制型数据中心、解决方案业务和云服务，绝大多数定制数据中心为阿里巴巴集团提供服务。2019 年 12 月，该企业收到阿里巴巴的 数据中心需求意向函，意向函涉及全国四个数据中心建设项目

25、，上述数据中心项目均为在 2018 年 5 月各项目需求意向函约定基础上新增的需求量。因此，众多家喻户晓的阿里巴巴品牌大多由数据港建设的数据中心参与运营，其中包括支付宝、阿里云、天猫、淘宝等。经过十余年的发展和与阿里巴巴的战略合作，企业先后在华东、华北、华南区域设立十多家子公司，业务范围覆盖京津冀、长三角、珠三角、粤港澳大湾区等核心一线区域。2.4.互联网行业数据中心功率密度分析互联网行业数据中心功率密度分析 2000 年我国互联网行业兴起，伴随对计算和存储需求的增加，互联网数据中心开始起步。最初互联网企业以租用第三方服务商的数据中心为主，随着业务场景不断丰富和处理需求量的快速提升，同时考虑到

26、降低成本和安全性，互联网8.87.315.795.395.260数据港秦淮数据中金数据万国数据宝信软件平均功率（单位：kW）ODCC-2021-05002 数据中心功率密度演进白皮书 11 企业开始自建自运维数据中心。并纷纷组建数据中心研究和运营部门，自研适合云计算、人工智能等高密业务的关键设备和系统，积累了众多技术创新成果，如整机柜服务器、多节点服务器、微模块、预模块、高压直流 HVDC、间接蒸发冷却、液冷等。国家新基建政策推出后，以百度、阿里巴巴、腾讯等为代表的互联网巨头纷纷宣布进一步加大数据中心领域的投资和技术研发，预计未来几年互联网行业仍将带动数据中心新技术创新，

27、在此过程中，互联网企业自建数据中心的功率密度也在大幅提高。2.4.1.百度 百度云计算（阳泉）中心是百度自建的第一个大型数据中心项目，从 2011 年9 月选址到 2018 年 9 月整体交付，历时 7 年。数据中心采用市电直供加 HVDC离线及自研分布式锂电供电系统、百度自研“零功耗”置顶冷却单元 OCU 和 AI 调优技术，支持高功率机架部署。据调研，截至 2020 年底，百度云计算（阳泉）中心在用机架个数为 6000 个，总功率为 52800kW，数据中心功率密度为 8.8kW/架。2.4.2.阿里巴巴 阿里巴巴乌兰察布大数据中心项目，于 2018 年在乌兰察布市举行开工奠基仪式，202

28、0 年建成。该项目按照“三点布局、同城互备”的方式，在集宁区物流园区、察哈尔开发区大数据产业园区、察哈尔右翼前旗三个区域分别选址建设，数据中心结合乌兰察布当地天然的气候优势全面采用 AHU 风墙冷却技术、HVDC高压直流供电、自研快插端子等先进技术，可支持 12 到 20kW 机架部署。据调研，截至 2020 年底，阿里巴巴乌兰察布大数据中心在用机架个数约为2772 个，总功率为 41580kW，数据中心功率密度约为 15kW/架。2.4.3.腾讯 腾讯是国内布局数据中心较早的企业之一，经过多年的技术沉淀和探索，腾讯已经在国内多了地方布局了数据中心。腾讯清远清新云计算数据中心于 2020ODC

29、C-2021-05002 数据中心功率密度演进白皮书 12 年 7 月正式开服，占地约 350 亩，由八栋数据中心仓及一栋行政楼组成，全部投产后可承载约 30 万台服务器。该数据中心借助间接蒸发冷却、变频技术、气流优化、AI 调优等腾讯多年积累的技术优势，数据中心设计功率密度可以达到较高的层次。据调研，截至 2020 年底，腾讯清远清新云计算数据中心在用机架个数约为2880 个，总功率为 20160kW，数据中心功率密度约为 7kW/架。2.5.早期部分早期部分数据中心功率密度偏低原因数据中心功率密度偏低原因 2.5.1.业务需求不充足方面 5G 仍处于初期部署阶段，无论是网络的普及、业务场景

30、的应用都尚在摸索中，5G 商用是一个不断发展的过程，短期内并未形成规模化的应用，对于数据中心的功率密度要求未产生快速明显的变化。2.5.2.基础设施不完备方面 早期以基础电信运营商为主体的数据中心建设数量较多，这部分数据中心建设较早，随着需求的改变以及技术的不断更新，机房、系统设施等基础设施方面也会限制数据中心功率密度的提升。2.5.3.短期收益不显著方面 数据中心从立项到设计建设和投入使用，整个周期通常需要 1-2 年甚至更长的周期，投资规模高昂，通常在数亿甚至数十亿元以上。受制于周边环境和备案承诺，以及业务连续性考虑，建设完成后通常难以进行后期扩容或改造。即使克服现有困难进行改造，运营商也

31、需斟酌时间成本和建设成本是否“划算”。3.未来数据中心高功率密度演进驱动因素未来数据中心高功率密度演进驱动因素 3.1.芯片技术提升和发展芯片技术提升和发展 新架构芯片技术的出现为芯片的性能、功耗、安全等提升和完善提供了新方ODCC-2021-05002 数据中心功率密度演进白皮书 13 向。处理器和存储器分离带来的数据传输延迟和损耗成为限制芯片性能的主要瓶颈，存内计算技术是进一步大幅提升芯片性能并降低功耗的解决方案，深度神经网络、量子计算、光电集成等多项技术也逐步应用到芯片的研究与应用当中。3.2.高功率应用和产品的普及高功率应用和产品的普及 服务器是数据中心的核心运算设备，单机架的平均运行

32、功率可大体衡量数据中心对于存储、计算等业务的有效支撑情况。由于不同的业务对于服务器各硬件的利用程度不同，不同的功能承载对于服务器功率的需求也存在差异。根据工作负载类型划分功率以支持用户的需求，可以最大限度地提高 IT 设备的性能和效率。3.3.承载业务算力要求提升承载业务算力要求提升 随着像 5G、云计算、大数据等数字化技术不断应用，产生了两大明显趋势：其一，接入设备开始从传统 PC 向移动智能终端转移，直接带来了部署模式从 PC应用到移动应用再到移动应用云化；其二，万物互联带来了海量数据的产生，直接推动了云边分工与协同，云数据中心承载海量数据的分析、处理和存储，并且形成中心训练和边缘推理的云

33、边协同。这些趋势带来对多样性算力的直接需求，要求算力可以实现云端同构、高并发、高吞吐、超高性能，以及更优能效的 AI。3.4.新型数据中心兴起新型数据中心兴起 随着 5G 赋能众多行业应用、云服务终端产品纷纷落地以及大数据技术的不断创新，靠近用户侧边缘测的传统数据中心集成度越来越高，边缘计算等模式的微型数据中心也逐步兴起。3.5.基础设施（供电基础设施（供电+制冷）技术发展迅猛制冷）技术发展迅猛 3.5.1.高密度数据中心高效供电技术 随着数据中心的机房业务发展迅猛，IT 设备电路集成度增加，功率密度增加，高压直流供电技术作为下一代 IT 机房的主流供配电技术，因其显著的经济效益和可靠性，可以

34、作为高密度数据中心新型供电技术。直流电源供电技术在通ODCC-2021-05002 数据中心功率密度演进白皮书 14 信领域的应用有较长的历史，传统常用的直流供电技术包括直流-24V、直流-48V、直流-60V 电源等。在国际上，英特尔、IBM、戴尔、惠普等 IT 巨头以及 ODCC等数据中心领域开源组织，一直在关注通信用 240V 直流供电技术的发展。3.5.2.高密度数据中心制冷技术 随着高功率的机柜应用越来越多，数据中心功率密度越来越大。目前，一种新型的间接蒸发冷却系统（IDEC）将作为高规模和高功率密度数据中心的新型制冷技术。IDEC 是一种简单、高效的数据中心冷却方案，其技术特点可完

35、美匹配当前数据中心建设运维需求，可解决绝大部分高功率密度机房制冷问题。3.5.3.智能供冷技术 智能送风技术是根据数据中心内 IT 设备的负载率变化来控制数据中心内精密空调送风制冷的一种技术，可以通过检测 IT 设备负载率的变化来检测 IT 设备的用电功率。另外，这种技术还可以调用 IT 设备内部的温度参数，实现过温预警和告警。3.6.高密度数据中心高密度数据中心 TCO 更低更低 数据中心的总拥有成本(TCO)代表建设成本，以及运营和维护数据中心随时间推移的成本。在确定低密度和高密度数据中心的 TCO 分析时。将选取一个示例数据中心，通过考虑这个示例数据中心其中每个影响密度的因素，再计算出相

36、应的成本，最终得出设计成低功率密度和高功率密度的不同的成本，得出相应的结论。据英特尔公开发布的白皮书数据中心总拥有成本：高密度和低密度空间对比研究显示，考虑一个需要 10000 台 1U 双处理器服务器新建数据中心，此示例中的数据中心和服务器选择将用于展示不同密度情况下的 TCO 差异。（其中1U=1.75 英寸高，设备机架以 U 为单位测量，一个典型的机架可以容纳 42 个1U 服务器，或 21 个 2U 服务器），具体参数如图 11，其中低密度数据中心功率ODCC-2021-05002 数据中心功率密度演进白皮书 15 密度为 6.6kW/架，高密度数据中心功率密度为 17kW/架：通过分

37、析可知，相同服务器规模的数据中心，高密度的数据中心成本更低。在上述示例中，总共节省5,200,000 美元，通过对比可知，高密度数据中心建筑和 IT 设备方面的成本优势较为显著。3.7.数据中心资源高效利用数据中心资源高效利用 伴随着高算力业务需求，未来推动高功率密度数据中心布局，对于数据中心整体节能减排和实现绿色低碳发展有积极作用。高密度数据中心在成本、效率和容量等方面的优势，助推了数据中心向更高密度部署的发展趋势。4.数据中心功率密度规划设计理念数据中心功率密度规划设计理念 从功率密度参数的定义可以看出，当一个数据中心的外电容量和规划机架总数确定后，该数据中心的平均功率密度已基本确定。此时

38、，可以根据安装设备类型的不同，对数据中心中不同机房模块、不同机房区域设置不同等级的功率密度。下面对功率密度规划的简单步骤和原则进行详细分析。4.1.简单规划步骤简单规划步骤 当一个数据中心可申请外电容量确定后，根据设计电能利用效率（PUE），分配给 IT 设备的用电量同样确定。此时若数据中心规划自然机架数量已明确，则整个数据中心的平均功率密度已可推算得出具体数值。剩下的功率密度规划工作是分等级对安装不同类型设备的机房模块进行功率密度规划，设计单位再结合供配电和制冷系统的设备容量选型对功率密度进行细化设计。4.2.功率密度规范制定方法功率密度规范制定方法 在设计功率密度规范时，应不单单考虑尽量满

39、足现阶段供电制冷的资源利用，还应尽可能进行超前布局，考虑未来数据中心功率密度提升的规划。针对这一问题，数据中心主体单位应充分研判未来业务发展方向和功能定位变化，制定分阶段的多套数据中心规划方案，从而进行详细的规划。ODCC-2021-05002 数据中心功率密度演进白皮书 16 4.3.功率密度规划策略功率密度规划策略 在具体规划数据中心功率密度时应遵循以下原则：（1）合理规划和设计功率密度。（2）在具体规划上需要在一定程度上满足未来的未知需求。（3）能够支持供电和制冷能力的借用。（4）支持分阶段部署。（5）尽可能减少功率密度提高后对运维阶段的可靠性和数据中心能耗的影响。4.4.总体总体 TC

40、O 最优理念最优理念 任何有竞争力的项目对用户来说都应该是 TCO 最优的。在数据中心领域，TCO 也是稳定性之外最重要的衡量指标。整个数据中心的 TCO 要打破 IT 设备、建筑、制冷供电的界限，以全局视角来分析，避免单一成本的考虑。5.推动数据中心高功率密度发展推动数据中心高功率密度发展 5.1.发展背景发展背景 随着新一代信息技术的高速发展，数据中心作为计算、存储、传输海量数据的实体，逐渐转变为复杂性的聚集地，变成资源密集型、资本密集型、技术密集型产业。随着人工智能等技术的快速发展，特别是 GPU、TPU 等专用芯片部署后，服务器功率大幅提升，数据中心已经开始向高密度、超大规模方向进行转

41、变。5.2.发展意义发展意义 对于未来数据中心的发展，一个重要的趋势是功率密度的提升。鉴于数据中心的空间限制，上层业务的高算力需求，高效与规模较大的高功率密度数据中心将越来越受数据中心客户亲睐。ODCC-2021-05002 数据中心功率密度演进白皮书 17 5.3.发展展望发展展望 5.3.1.全方位推动数据中心建设优化 鼓励多类型数据中心建设，积极推动 IT 技术的发展。加强新一代 IT 设备对数据中心规模、建设模式以及处理能力影响的研究和预测。5.3.2.提升数据中心总体利用率 促进数据中心功率密度提升亟需引导企业在项目初期做好机架规划，科学合理地按照既有总电量分配机架数和单机架功率，最

42、大限度节省建筑空间、提高部署密度，而不是通过压低单机架功率以获得更多的机架数备案，却最终在实际部署时造成机架闲置、数据中心整体利用率偏低。5.3.3.制定数据中心功率密度规范 随着数据中心功率密度发展趋势，应该在业界配套制定相应的数据中心功率密度规范。5.3.4.为数据中心功率密度演进提供政策保障 在工信部最新印发的新型数据中心发展三年行动计划（2021-2023 年）中就对数据中心功率密度提出了相应明确规定。数据中心高密度发展与高质量发展紧密相关，应积极推动数据中心功率密度相关政策出台制定，从政策到应用开展了大量探索与实践，保障高密度数据中心演进稳定有序推进。5.3.5.推动高密度数据中心试

43、点示范 可以依托国家新型工业化产业示范基地（数据中心）项目，加强国内高功率密度数据中心建设和应用试点示范工作，优化国内数据中心结构和布局，加强数据中心基础设施建设，引导全国数据中心在满足新一代信息技术发展的前提下高质量发展。ODCC-2021-05002 数据中心功率密度演进白皮书 18 建议国内电信运营商、数据中心服务商借助新型数据中心发展三年行动计划（2021-2023 年）等国家政策，推进高功率密度数据中心建设和服务，开展更全面的业务支撑工作。ODCC-2021-05002 数据中心功率密度演进白皮书 19 开放数据中心委员会（秘书处）地址：北京市海淀区花园北路 52 号 电话： 邮箱：ODCC