《ODCC：2023数据中心绿色设计白皮书（36页）.pdf》由会员分享，可在线阅读，更多相关《ODCC：2023数据中心绿色设计白皮书（36页）.pdf（36页珍藏版）》请在三个皮匠报告上搜索。

1、1数据中心绿色设计白皮书ODCC-2023-02001编号 ODCC-2023-02001数据中心绿色设计白皮书开放数据中心标准推进委员会开放数据中心标准推进委员会2023-06 发布发布I数据中心绿色设计白皮书ODCC-2023-02001版权声明版权声明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。

2、II数据中心绿色设计白皮书ODCC-2023-02001编制说明编制说明本报告由开放数据中心委员会 ODCC牵头撰写，并在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位：参编单位（排名不分先后）：中国信息通信研究院、深圳市腾讯计算机系统有限公司、维谛技术有限公司、深圳绿色云图科技有限公司、华为技术有限公司、阿里云计算有限公司、浪潮集团有限公司、曙光信息产业股份有限公司项目经理：张一星 杨硕 III数据中心绿色设计白皮书ODCC-2023-02001前言前言随着新一代信息技术的蓬勃发展与广泛应用，数字产业的赋能作用进一步凸显，数据中心作为数字经济“底座”，在经济社会发展中扮演着至关

3、重要的角色。截至 2022 年底，我国在用数据中心机架总规模超过 650 万架，能耗总量达 1300 亿千瓦时。在“碳达峰碳中和”大背景下，我国正积极推动引导数据中心均衡布局、高效节能发展，工信部、发改委等部门发布新型数据中心发展三年行动计划、贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案等多项政策，提出到 2025 年，全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下，国家枢纽节点进一步降到 1.25 以下，绿色低碳等级达到 4A 级以上。绿色设计对于从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向具有重大意义。本白皮书梳理

4、了全球及我国数据中心机架规模和 PUE 水平，从国家和地方层面分析了数据中心绿色节能政策和已发布的数据中心能效标准，指出了数据中心绿色发展面临的诸多挑战。本白皮书详细阐述了数据中心绿色设计的理念和基本要素，总结了数据中心 IT 设备、供电系统、制冷系统、监控系统的绿色设计先进技术和方案，并给出了数据中心绿色设计优秀案例。相关技术和方案将为数据中心在建设、运行、改造的全生命周期采用绿色设计提供参考，促进数据中心产业整体绿色低碳高质量发展。由于时间仓促，水平所限，错误和不足之处在所难免，欢迎各位读者批评指正。如有意见或建议请联系 。IV数据中心绿色设计白皮书ODCC-2023-02001内容概览内

5、容概览1.全球新增数据中心规模稳定，伴随数据中心节能改造建设的边际效益递减和数据中心能效改善效果不佳，全球数据中心 PUE 呈现小幅波动总体缓慢下降趋势。国内外互联网巨头持续探索数据中心绿色节能技术，部分超大型数据中心 PUE 接近极限值。2.我国数据中心总体规模持续增长，大型规模及以上数据中心成为增长主力，数据中心能耗总量与碳排放规模体量不容忽视。我国高度重视数据中心绿色发展，国家和地方层面均出台了一系列指导意见和工作方案，引导数据中心布局均衡和绿色低碳发展。3.我国数据中心产业在能耗方面面临诸多挑战，如老旧小数据中心能效管理水平低、新建数据中心绿色节能技术应用不佳、现有数据中心能耗监测系统

6、不健全等，且当前针对数据中心节能新技术的相关标准仍不完善。为帮助数据中心产业从源头上构建绿色生态，白皮书给出了数据中心绿色设计的定义与内涵，引导数据中心在设计阶段综合考虑各类资源能效指标，达到资源支出成本最低、碳排放量最少、对环境影响最小。4.数据中心绿色设计包含单系统绿色设计、环境与能源耦合绿色设计、风火水电与 IT 系统耦合绿色设计三个层次，针对 IT 设备、供电系统、制冷系统、监控系统等不同维度的多样化绿色设计先进技术方案，可有效帮助数据中心实现全生命周期节能降耗和绿色低碳。5.PUE 值是当前评价数据中心绿色设计方案是否先进有效的核心指标，为促进产业各方实践应用绿色设计方案，用低 PU

7、E 创造高效算力，白皮书给出了腾讯、维谛、网宿&绿色云图、华为等企业的优秀数据中心 PUE 设计方案，对推进数据中心产业整体绿色高质量发展提供有益借鉴。V数据中心绿色设计白皮书ODCC-2023-02001目录目录版权声明.I编制说明.II前言.III内容概览.IV图 目 录.1表 目 录.1一、数据中心绿色设计发展背景.21.数据中心能耗现状.22.数据中心能耗政策标准分析.53.数据中心绿色发展面临的挑战.9二、数据中心绿色设计的理念和基本要素.111.数据中心绿色设计.112.绿色设计理念.123.绿色设计原则.124.绿色设计目标.12三、数据中心绿色设计先进技术和方案.131.IT

8、设备.132.供电系统.173.制冷系统.204.监控系统.26VI数据中心绿色设计白皮书ODCC-2023-02001四、数据中心绿色设计优秀案例.271.腾讯仪征数据中心设计 PUE 方案.272.维谛广州数据中心设计 PUE 方案.273.网宿&绿色云图上海数据中心设计 PUE 方案.284.华为贵州数据中心设计 PUE 方案.281数据中心绿色设计白皮书ODCC-2023-02001图 目 录图 目 录图 1 全球服务器年增加量（兆瓦）.2图 2 全球互联网巨头数据中心运行 PUE 水平接近极限值.3图 3 我国数据中心机架规模.4图 4 我国超大型、大型数据中心能效情况.4图 5 我

9、国数据中心耗电量（亿千瓦时）.5图 6 CPU 冷板和 GPU 冷板.14图 7 IT 机柜的演进.17表 目 录表 目 录表 1 数据中心能效等级指标.9表 2 风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比.242数据中心绿色设计白皮书ODCC-2023-02001一、数据中心绿色设计发展背景一、数据中心绿色设计发展背景1.数据中心能耗现状1)全球发展现状1.数据中心能耗现状1)全球发展现状全球数据中心新增相对稳定。按照全球服务器年增加量统计，2015 年-2021 年全球年新增投入使用服务器规模相对稳定，净增加值也相对稳定，预计未来几年数据中心规模仍将保持平稳增长，具体见图 1。来源：

10、Gartner、中国信息通信研究院图 1 全球服务器年增加量（兆瓦）2006 年开始，随着互联网快速发展，全球数据中心规模高速增长，数据中心能耗与日俱增。封闭冷热通道、提高出风温度、优化供配电设备效率、充分利用自然冷源等绿色节能技术不断推广应用，数据中心能效管理从粗犷发展进入精细管理，全球数据中心总体能效水平快速提高，平均 PUE 从 2.7 降低到2013 年的 1.8 左右，呈现快速下降趋势。2014 年以来，全球数据中心 PUE 呈现小幅波动总体缓慢下降的趋势，一方面数据中心节能改造与建设的边际效益逐步降低，进一步提高能效需要投入更多成本，另一方面，部分传统数据中心负载率不高、绿色管理不

11、到位等造成数据中心能效改善效果不明显，2021 年全球数据中心平均 PUE 约 1.57。3数据中心绿色设计白皮书ODCC-2023-02001互联网巨头仍坚持探索数据中心绿色节能新技术，新建数据中心 PUE 基本在 1.4 以下，部分超大型数据中心接近极限 PUE，Facebook 美国 Prineville 数据中心 PUE 低于 1.08，谷歌 Berkeley 数据中心年均 PUE 达到 1.111，百度云计算（阳泉）中心 1#模组 PUE 达 1.08，阿里巴巴浙江云计算仁和数据中心 PUE 达1.09。未来随着中小数据中心整合改造和大型化数据中心建设趋势，全球数据中心平均 PUE

12、预计将进一步降低。同时，谷歌、苹果等公司已通过购买可再生能源证书（Renewable Energy Certificate）的方式实现所有数据中心采用100%可再生能源，进一步降低了数据中心碳排放。来源：互联网资料整理、开放数据中心委员会 ODCC图 2 全球互联网巨头数据中心运行 PUE 水平接近极限值2)国内发展情况2)国内发展情况根据信通院最新统计数据，我国数据中心机架规模平稳增长，大型以上数据中心成为增长主力。据统计，2013 年以来，我国数据中心总体规模快速增长，截至到 2022 年底，我国在用数据中心机架总规模超过 650 万架，近 5 年年均复合增速超过 30%，算力总规模为 1

13、80EFLOPS（FP32），算力规模排名全球第二。1数据来源：企业官网 https:/ https:/4数据中心绿色设计白皮书ODCC-2023-02001其中，大型以上数据中心机架规模增长较快，按照标准机架 2.5kW 统计，机架规模超 540 万架，占比超 80%。来源：中国信息通信研究院图 3 我国数据中心机架规模截至 2022 年底，全国在用超大型数据中心平均 PUE 为 1.36，大型数据中心平均 PUE 为 1.42，最优水平达到 1.02。全国规划在建数据中心平均设计 PUE为 1.32 左右，超大型、大型数据中心的平均设计 PUE 分别为 1.28、1.29。来源：中国信息通

14、信研究院图 4 我国超大型、大型数据中心能效情况5数据中心绿色设计白皮书ODCC- 年我国数据中心能耗总量为 1116 亿千瓦时，碳排放量超过 7000 万吨。2022 年我国数据中心能耗总量 1300 亿千瓦时，同比增长 16%，预计到 2030 年，能耗总量将达到约 3800 亿千瓦时。若不使用绿色能源，碳排放总量将突破 2 亿吨，约占全国总碳排放量的 2%。来源：中国信息通信研究院图 5 我国数据中心耗电量（亿千瓦时）2.数据中心能耗政策标准分析1)政策分析2.数据中心能耗政策标准分析1)政策分析我国积极推动引导数据中心布局均衡、绿色低碳发展，从国家到地方发布

15、了一系列关于数据中心高效节能的政策文件。(1)国家层面政策(1)国家层面政策国家层面高度重视数据中心行业绿色发展，近十年来发布了一系列相关指导意见和工作方案。2013 年，工信部等发布关于数据中心建设布局的指导意6数据中心绿色设计白皮书ODCC-2023-02001见，引导大型、超大型数据中心优先在中西部等一类、二类地区建设。2017年，工信部发布关于加强“十三五”信息通信业节能减排工作的指导意见，提出到十三五末期，新建大型、超大型数据中心的 PUE 值达到 1.4 以下。工信部联合国管局、国家能源局于 2019 年 2 月发布关于加强绿色数据中心建设的指导意见，再次提出到 2022 年，数据

16、中心平均能耗基本达到国际先进水平，新建大型、超大型数据中心的 PUE 达到 1.4 以下。为落实国务院“十三五”节能减排综合工作方案，推动数据中心的节能减排，国家发改委联合工信部等七部委于 2019 年 6 月发布绿色高效制冷行动方案，提出“加快制定数据中心能效标准，实施数据中心制冷系统能效提升工程”。2020 年 7 月，工信部等六部门联合组织开展国家绿色数据中心推荐，选择一批能效水平高、技术先进、管理完善、代表性强的数据中心进行推荐，引导数据中心完善 PUE、WUE 的监测与管理，加大绿色技术、绿色产品、清洁能源的使用，进一步提高能源资源利用效率。近年来，为贯彻落实网络强国、数字中国、国家

17、大数据和碳达峰碳中和战略，国家不断强调数据中心绿色高质量发展的重要性。2020 年 12 月，国家发展改革委等四部委联合发布关于加快构建全国一体化大数据中心协同创新体系的指导意见，提出加强全国一体化大数据中心顶层设计，再次要求“加快制定数据中心能源效率国家标准”，提出“到 2025 年，大型、超大型数据中心运行电能利用效率降到 1.3 以下”。2021 年，“十四五”规划和 2035 远景目标中指出“推动 5G、大数据中心等新兴领域能效提升”。2021 年 5 月，国家发展改革委等四部委发布全国一体化大数据中心协同创新体系算力枢纽实施方案，提出“在京津冀、长三角、粤港澳大湾区、成渝，以及贵州、

18、内蒙古、甘肃、宁夏等地布局建设全国一体化算力网络国家枢纽节点，发展数据中心集群，引导数据中心集约化、规模化、绿色化发展”。2021 年 11 月，国家发改委等四部门发布贯彻落实碳达峰碳中和目标要求推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案提出“到 2025 年，数据中心和 5G 基本形成绿色集约的一体化运行格局。数据中心运行电能利用效率和可再生能源利用率明显提升，全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下，国家枢纽节点进一步降到 1.25 以下，绿色低碳等级达到 4A 级以上。”7数据中心绿色设计白皮书ODCC-2023-02001(2)地方层面政策(2)地

19、方层面政策热点地区筑高建设门槛控新增，强化技术引导提能效。一线城市业务需求旺盛但电力资源紧张，受能耗指标、用地、用电审批限制，批复难、建设难、扩容难，供给不足、供不应求。各地相继出台政策以缓解供给侧的结构性矛盾，规避旺盛需求刺激下数据中心“粗制滥造”建设的风险。2018 年，北京市更新北京市新增产业的禁止和限制目录；2020 年 6 月，北京市发布关于加快培育壮大新业态新模式促进北京经济高质量发展的若干意见及北京市加快新型基础设施建设行动方案（2020-2022 年）；2021年 4 月，北京市数据中心统筹发展实施方案（2021-2023 年）提出“新建云数据中心 PUE 不应高于 1.3”，

20、并相继发布北京市发展和改革委员会关于进一步加强数据中心项目节能审查的若干规定（征求意见稿）、北京市发展和改革委员会 北京市经济和信息化局关于印发北京市低效数据中心综合治理工作方案的通知，持续加强数据中心能效治理。上海市接连发布上海市推进新一代信息基础设施建设助力提升城市能级和核心竞争力三年行动计划（2018-2020 年）、关于加强上海互联网数据中心统筹建设的指导意见、上海市互联网数据中心建设导则（2019 版）、上海市互联网数据中心建设导则（2021 版）；2020 年发布数据中心能源消耗限额强制性地方标准，对数据中心能耗提出限制要求；2022 年 6 月，上海市经济信息化委、上海市发展改革

21、委联合发布关于推进本市数据中心健康有序发展的实施意见，提出“加速升级改造小散老旧数据中心，加快数据中心绿色节能发展”；上海市通信管理局发布新型数据中心“算力浦江”行动计划（2022-2024 年）的通知，要求“新建大型及以上数据中心应达到绿色数据中心评估要求，绿色低碳等级达到 4A 级以上，提升绿色能源利用水平，加快“小散老旧”数据中心改造升级”。深圳市发布深圳市发展和改革委员会关于数据中心节能审查有关事项的通知，要求数据中心重点用能单位应建设能耗在线监测系统，按要求接入广东省重点用能单位能耗监测平台。广东省发布广东省 5G 基站和数据中心总体布局规划（2021-2025 年）。8数据中心绿色

22、设计白皮书ODCC-2023-02001热点周边地区谋划提升引需求，提高服务能力接外溢。为缓解热点地区数据中心供不应求的结构性问题，河北、天津、内蒙古、江苏、广东等热点周边地区纷纷出台政策激励数据中心快速发展，着力培育、提升承接热点地区外溢需求的能力。河北省 2020 年 3 月发布关于加强重大项目谋划储备的指导意见，围绕绿色循环低碳发展谋划项目为重要组成部分；2020 年 10 月发布关于支持数字经济加快发展的若干政策，提出“降低数字基础设施运营成本，优先支持数据中心参加电力直接交易，鼓励可再生能源电力和火电打捆与数据中心开展交易”；2021 年 12 月，河北省发布信息化与工业化深度融合发

23、展“十四五”规划，提出“建设形成张家口、承德两个低时延数据中心核心区和廊坊、保定等若干数据中心集聚区，推进雄安城市计算（超算云）中心建设。”。天津市 2019 年 10 月发布促进数字经济发展行动方案（20192023 年）；2021年 8 月，天津市加快数字化发展三年行动方案（20212023 年）要求“统筹规划超大新型绿色数据中心建设”。内蒙古自治区 2020 年 1 月发布内蒙古自治区人民政府关于推进数字经济发展的意见。2021 年 11 月，内蒙古自治区人民政府办公厅关于印发自治区“十四五”工业和信息化发展规划的通知要求“到 2025 年，全区大型数据中心平均 PUE 值降至 1.3

24、以下，寒冷及极寒地区力争降到 1.25 以下。”。江苏省 2020 年 5 月出台关于加快新型信息基础设施建设扩大信息消费若干政策措施的通知；2021 年 8 月，江苏省“十四五”数字经济发展规划要求“构建绿色高效的算力基础设施”。中西部地区鼓励找准定位促发展。西部地区能源充足、气候适宜，但距离热点地区用户较远，部分省份数据中心供大于求。青海省 2018 年 3 月出台关于进一步扩大和升级信息消费持续释放内需潜力的实施意见，指出要培育和打造立足本省、面向全国的云计算数据中心与灾备中心；2020 年 5 月，青海省人民政府办公厅关于加快推动 5G 产业发展的实施意见要求“推进区域数据中心建设”。

25、甘肃省 2019 年 11 月出台关于支持丝绸之路信息港建设的意见，提出建设物理分散、逻辑统一的信息港绿色云数据中心集群；2021 年 9 月，甘肃省“十四五”数字经济创新发展规9数据中心绿色设计白皮书ODCC-2023-02001划提出“引导传统数据中心升级改造，向规模化、集约化、智能化、绿色化方向布局发展”。湖北省 2020 年 4 月出台关于加快推进重大项目建设着力扩大有效投资的若干意见，鼓励投资谋划一批大数据中心；2021 年 11 月，湖北省数字经济发展“十四五”规划提出“推动大数据中心绿色化发展，加快新一代绿色数据中心节能技术应用”。江西省 2020 年 4 月出台数字经济发展三年

26、行动计划（2020-2022 年），强调加快推进大数据中心项目建设，打造国内领先的公共云计算平台；2021 年 2 月，江西省国民经济和社会发展第十四个五年规划和二三五年远景目标纲要要求“完善能效领跑者制度，落实国家 5G、大数据中心等新兴领域能效标准”。2)标准分析2)标准分析GB 40879-2021数据中心能效限定值及能效等级于 2021 年 10 月 11 日发布，2022 年 11 月 1 日实施，标准文件中明确将数据中心能效等级分成 3 级，1 级表示能效最高，各能效等级数据中心电能比数值应不大于表中的规定。表 1 数据中心能效等级指标指标能效等级1级2级3级数据中心电能比1.20

27、1.301.50数据中心能效等级的判定应同时满足以下两个条件。一是数据中心电能比的设计值、特性工况法测算值和全年测算值（如有）均符合表 1 相应等级的规定。二是数据中心电能比的特性工况法测算值和全年测算值（如有）应小于设计值的 1.05 倍。其中，数据中心电能比设计值是总耗电量和信息设备耗电量的规划设计值的比值，特性工况法测算值是按 5 个特性工况点方法测算的数据中心电能比，全年测算值是按全年耗电量测算的数据中心电能比。3.数据中心绿色发展面临的挑战3.数据中心绿色发展面临的挑战我国数据中心产业在能耗方面目前主要存在以下问题：10数据中心绿色设计白皮书ODCC-)老旧小数

28、据中心能耗较高，能效管理水平有待提升1)老旧小数据中心能耗较高，能效管理水平有待提升随着国家政策的引导，大型数据中心逐渐重视起绿色节能，能效水平不断提高。但是很多中小、老旧数据中心对能效管理缺乏认知，运维管理水平差，节能技术应用不足，仍以较高能耗水平维持着日常运行。数据中心 IT 设备耗电转换为大量热能，为了将这些热量带走，不少老、旧、小数据中心的制冷设备耗能占比高达 30%-50%，PUE 维持在 2.0 以上。2)新建数据中心绿色节能技术应用不佳，运维能力不达要求2)新建数据中心绿色节能技术应用不佳，运维能力不达要求在技术落地和实施方面，部分数据中心没有充分利用优越的气候条件进行免费自然冷

29、却，冷冻水供回水温度设置不合理，使得数据中心实际运行 PUE 远高于设计值，尤其在二三线城市更为明显。在运维管理方面，数据中心的设备数量大、种类多，对应的监控管理系统功能性能满足不了实际需求，缺乏集中式统一管理，导致运维管理任务繁重，运维管理能力无法保证数据中心高效的运行，绿色管理水平差。3)现有数据中心能耗监测系统不健全3)现有数据中心能耗监测系统不健全现有的数据中心能耗监测系统对系统的监控和数据采集不够全面，部分数据中心只关注局部系统或者一些核心部件的性能和功耗水平，部分数据中心只关注数据中心总体能耗和 IT 能耗，多个数据中心无法准确、全面、多维、立体反映出整个数据中心的功耗分布情况。此

30、外，现有的数据中心能耗监测系统五花八门，缺乏统一的监控管理规范，精度、点位等需要进一步优化。数据中心缺乏完善的能耗数据，难以实现资源的高效利用和优化配置.4)数据中心节能新技术相关标准不完善4)数据中心节能新技术相关标准不完善目前我国数据中心节能降耗方面已有部分标准基础，但针对节能规划设计、设计能效评估、节能改造以及节能评估和验收等方面的标准仍需完善。另一方面，为支撑新技术新业务的快速发展，数据中心产业需要达到更高的技术要求，数据中心不断加快技术创新和市场响应速度，以满足不断变化的业务需求。相11数据中心绿色设计白皮书ODCC-2023-02001应的，数据中心出现的大量新技术和新产品也需要标

31、准和规范的研制和完善，保障新技术的应用和落地效果。二、数据中心绿色设计的理念和基本要素二、数据中心绿色设计的理念和基本要素1.数据中心绿色设计1.数据中心绿色设计设计是人类所有目标创新实践活动的先导和准备，是从源头和供给侧创意设置目标、引领系统集成创新、保障目标顺利实现的关键。绿色设计可从源头上构建数据中心绿色产业生态，引导数据中心产业绿色发展方向。我国数据中心已经迈入成熟发展阶段，设计已经不仅由设计师参与设计，而是设计方、设备厂商、第三方服务商、互联网用户等共同参与，尤其是互联网用户，在过去十年，为行业贡献分享了大量的绿色创新设计及相关实践案例，第三方服务商在绿色设计方面也已处于前列，数据中

32、心绿色设计已经进入众创时代。数据中心绿色设计指的是在设计阶段制定促进数据中心绿色发展、落实国家双碳战略的技术路线、时间表和目标函数，具体来说，在保障数据中心安全可靠的前提下，现阶段数据中心设计主要考虑 PUE、CUE 和 WUE 等资源利用效率指标，使这些指标满足国家和地方政策法规及标准要求，并减少企业运营能源支出。未来的绿色设计将朝着数据中心建设、运行服务、改造等全生命周期范围发展，综合考虑各类能源指标，达到资源成本最低、碳排放最少、对环境影响最小，实现自然资源可持续发展和数字经济发展的协调统一。数据中心绿色设计可从三个方面实现。一是单系统的绿色设计，如供配电系统、制冷系统和 IT 系统，供

33、配电系统选择转换环节更少、损耗更小、效率更高的产品方案，制冷系统选择可靠性更高、能效水平更高、自然冷却比例更高的运行方案，IT 系统选择绿色节能产品。二是环境与能源耦合的绿色设计，结合数据中心选址和当地的气候条件，充分发挥自然冷却的优势，合理利用太阳能、风能等可再生能源。三是风火水电和 IT 系统耦合的绿色设计，根据数据中心功率密度选择配套的供配电方案和制冷方案，提高整体资源利用效率。12数据中心绿色设计白皮书ODCC-.绿色设计理念2.绿色设计理念数据中心绿色设计目标实现可分成近期和远期两个阶段，近期主要以基础设施如供配电系统、冷却系统等为绿色设计主体，远期可在基础设施

34、基础上，纳入 IT 算力，也就是实现单位算力基础上的资源使用效率最大化和环境影响最小化，这样可以确保近期可操作、远期有发展。数据中心绿色设计主要从业务等级、选址、资源效率以及节能控制等方面规划。鉴于设计的时效性和超前性，也就是设计受当下政策、技术、环境等方面制约，可能并不满足设计完成后的政策和行业又新增的标准和要求，故绿色设计评价一般有当期属性。3.绿色设计原则3.绿色设计原则在碳达峰碳中和大背景下，绿色低碳是数字新基建的使命，也是算力基础设施建设运营的主旋律。数据中心绿色设计原则主要是安全可靠、绿色低碳、高效等几个方面。安全可靠是数据中心运行的基本保障，必须保障供电和制冷可靠性，才能保障业务

35、安全不中断运行；绿色低碳是数据中心绿色设计的主要原则，也是数据中心绿色设计的主要目标，重点考虑高效节能用电设备、高效冷却系统、可再生能源、清洁能源使用等方面的设计，也包括环保等方面的考虑；高效方面，主要从电能容量比、空间使用效率等客观资源使用方面进行高效设计，也是数据中心集约化建设、最大化应用的未来趋势。4.绿色设计目标4.绿色设计目标确保数据中心的业务可靠性等级、运行 SLA 的目标等级；尽可能地满足甚至优于 PUE 能效指标要求，并考虑能效余量；最大化考虑全生命周期的特点，各个阶段均满足 PUE 能效要求；推荐采用主流建筑和设备节能技术、高效的工程设计、智慧节能控制和联合运行等技术，主动建

36、立能效监测系统来不断优化。在设计阶段最大化满足 PUE 能效指标要求，可避免后期复杂繁琐的改造工作，保护设计成果也保护业主投资。因此绿色设计尤其是节能设计，要在能效13数据中心绿色设计白皮书ODCC-2023-02001可靠取值（同等工况权威第三方评估报告的能效值、同类案例权威第三方机构的测试数据）基础上，采用适度超量设计获得能效余量（适度超量，在经济性和未来的能效满足上求得较好的平衡），确保设计阶段理论能效和建设、运行阶段的差异可控，目前可按 10%余量适度。三、数据中心绿色设计先进技术和方案三、数据中心绿色设计先进技术和方案1.IT 设备(1)高密度服务器1.IT 设备(1)高密度服务器数

37、据规模的持续增长及土地、电力资源集约化发展推动高密度数据中心发展。在过去很长一段时间，为了满足不断增长的用户数据处理需求，数据中心主要是通过增加空间，扩大机架和服务器规模来提供更多算力，但是这也会导致数据中心运营成本的增加和数据中心场地空间的浪费。发达地区日益紧张的土地资源及电力资源使得以扩大服务器规模来提升算力水平的数据中心建设模式难以开展，建设高密度数据中心成为推动数据中心算力水平、提升数据中心效率的重要举措，高密度数据中心能够进一步增加数据中心功率密度和数据中心“每平方米”的计算能力，能够更好地满足大数据场景下的计算与存储需求。高密度服务器部署显著提升数据中心单位面积算力，降低数据中心运

38、营成本。建设高密度数据中心的关键是部署高密度服务器，与传统服务器不同，高密度服务器电源和风扇以共享方式进行设计，位于同一机箱内的多台服务器节点可以共享电源和风扇。一方面降低了机体的重量和空间占用，提升数据中心单位面积算力，另一方面能够提升电源和散热系统的使用效率，降低数据中心运营成本。IBM、思科、华为、浪潮、曙光等国内外知名的互联网硬件厂商纷纷加速推进高密度服务器的产品设计与市场布局。(2)液冷服务器(2)液冷服务器近来年，液冷服务器的使用数量和客户接受度不断提高，是基于液冷服务器具有高效散热、节能降噪和高密部署等优势。14数据中心绿色设计白皮书ODCC-2023-02001高效散热高效散热

39、：液冷解决高功率芯片的散热问题，突破风冷散热瓶颈。风冷容易产生局部热点，芯片长时间高温运行，影响芯片性能和使用寿命。液冷可维持芯片低于临界温度 1020稳定运行，释放芯片最大计算潜能，延长芯片使用寿命。节能降噪节能降噪：液冷服务器核心发热部件散热通过冷却液体循环排到机房外，可大大降低机房内制冷压力，节省数据中心空调用电。液冷数据中心 PUE 在1.3 以下，起到很好的节能效果。同时，服务器内部对风扇要求也降低，可以实现风扇低转速运行甚至无风扇，降低设备噪音。高密部署高密部署：传统风冷服务器散热片占据一定高度，芯片功耗越高，散热器高度也越高，服务器的高度也需要随之调整。液冷服务器使用液冷散热片，

40、对空间的要求降低，可实现高密度设计，提高了数据中心内设备部署密度，降低数据中心 TCO。综上所述，因为液冷服务器能为客户带来多方面收益，各服务器厂商也都在布局液冷产品。国内厂商如曙光、浪潮、联想、宁畅、华三都有布局液冷服务器。液冷服务器机型主要包括高密度 CPU 计算型液冷服务器、GPU 液冷服务器、机架式液冷服务器等。技术路线以冷板式液冷2和浸没式液冷居多。通过优化冷板内铲齿厚度、高度、间距等参数以及流道设计，获得最优散热效果。冷板材质一般选择导热性较好的金属，如铜、铝等，选用铜质较多。图 6 CPU 冷板和 GPU 冷板2开放数据中心委员会 ODCC.冷板式液冷服务器可靠性白皮书15数据中

41、心绿色设计白皮书ODCC-2023-02001(3)整机柜(3)整机柜数据中心本身是一个能量冷热交换的载体，既需要大规模蓄冷，也同时产生大规模热能。想要降低碳排放量和提高能源利用率，关键还是在于节能增效，利用技术措施、管理措施等减少碳排放。以服务器为例，当把每一台服务器作为单节点独立运作，从整体数据中心层面来看收益基本为零，当单节点的维度提高到机柜层级，将集中供电、一体化交付、高密度部署这些进行统一规划时，就可以获取更高的收益，以集中供电为例，平均单节点能耗优化 12%。当将规划维度进一步提高到数据中心层面，将数据中心层面的供电、交付、部署、组网、制冷综合考虑，将会收获到最佳的综合收益。而事实

42、上，超大规模数据中心运营商以及云服务厂商（CSP）正是通过这样的实践来降低综合运营成本，提升产品竞争力。通过集中供电技术把原本离散的电源进行池化。原本通用服务器离散供电的冗余要求是 1+1，以 20 节点为例需要 40 颗 PSU 进行供电，且 PSU 之间无法实现负载均衡，当服务器负载较低时，电源的转化效率处于较低水平。当通过整机柜的形式将电源进行池化后，整机 20 个节点可以采用 N+1 或 N+2（N+M）冗余模式，大幅减少 PSU 总数。同时池化后的 PSU 之间可以实现负载均衡，结合动态 PSU 节能调节技术，在整机柜负载较低时，关闭多余的 PSU，始终使得PSU 保持在高转化率的负

43、载下，效率更高。所以，通过集中供电技术可以降低整个 TCO 的整机柜的成本，且提升交付效率。随着摩尔定律的逐渐失效，研究发现散热对现代电子系统是一个挑战，温度每升高 1 摄氏度电子器件的寿命缩短 5%，散热还直接影响电子系统的功率输出和能耗，同时面对云计算、AI、5G 和 IoT 的快速发展，可以感受到算力在增加，AI 技术使单个芯片功耗在增加，系统功耗也在增加。所有数据中心实现低碳不得不面临的另一大难题，就是散热。过往整机柜通常采用风扇墙集中式散热，这样的好处是每一个单独的节点不需要独立的风扇，随着风扇数量的减少，节省出来的空间可进一步增加设备数量，降低整体的成本。但随着业务越来越复杂，服务

44、器所承载的应用越来越多样化，一台机柜中往往运行多种业务类型，发现以往风扇墙以 3-4 个节点为一组进行散热，风扇的功耗会以节点组中最大16数据中心绿色设计白皮书ODCC-2023-02001功耗进行运作，同时风扇墙的模式也降低了整机柜的灵活性，当在搬迁的时候必须得机柜整体搬迁，无法抽出单节点独立运作。所以，为了这类解决问题，把风扇进行了内置采用节点式单独散热，将节点和散热进行解耦，易于搬迁。同时节点中内置风扇可以按照单节点的实际功耗调整风扇速率，保证散热效率，降低 TCO。(4)高算力碳效服务器(4)高算力碳效服务器数字经济时代，算力是数字经济发展的基础设施和核心生产力，随着数据的爆炸式增长，

45、算法的复杂程度不断提高，对算力需求越来越高。算力即计算能力，核心是 CPU、GPU、NPU、MCU 等各类芯片，具体由计算机、服务器、高性能计算集群和各类智能终端等承载。对数据中心而言，服务器是算力的主要载体。数据中心在进行服务器设备选择时，为确保设备可提供业务需要的算力资源，注重计算性能指标已成为共识。但随着国家越来越重视“碳中和碳达峰”战略，服务器产品作为运营过程中核心的 IT 设备，其生命周期的碳足迹对总体运营温室气体排放控制至关重要，在设备选型时兼顾产品碳排放量也成为趋势。如何在计算密集型工作负载和低能耗运行的矛盾之间找到解决方案，如何在满足技术需求的基础上尽可能降低碳排放，业界在服务

46、器设备选型时开始逐渐考虑算力碳效。高算力碳效服务器是服务器使用周期内，产生的碳排放与所提供的算力的比值相对较小的一类服务器，这类服务器的特点是单位算力的碳排放量较少。随着服务器性能的提升，碳排放总量呈上升的趋势，但性能提升的速度超过碳排放增加的速度，单位算力的相对碳排放在降低3。若厂商根据业务需求，如不同计算场景（高性能计算、边缘计算、智能计算、通用计算等）、不同架构（X86 架构、ARM）、不同负载（存储、内存、CPU 要求），选择算力碳效高的服务器，则可保证数据中心的绿色低碳效益。3开放数据中心委员会 ODCC.数据中心算力碳效白皮书17数据中心绿色设计白皮书ODCC-2023-02001

47、2.供电系统2.供电系统1)电气集成化设计(1)电力模块(1)电力模块在数据中心中，其供电系统是整个数据中心的咽喉，是基础设施中最重要的组成部分之一。当前数据中心常见的几种不间断供电技术包括 AC UPS、HVDC（240V/336V/48V）和市电直供+BBU 等。一般根据数据中心建设等级的要求，采用不同的冗余供电模式，比如 2N 模式，DR 模式，RR 模式等。未来数据中心的快速发展，对供电系统的可靠性、节能性、可持续性等提出更高的要求，供电技术和模式向着模块化、预制化、智能化、精简化等方向创新演变。当前国内外的数据中心行业，根据各自的具体需求，提出并实践了很多有特点的供电新技术，如华为、

48、维谛的电力模块，阿里巴巴的巴拿马电源等。深度融合是电力模块的演进方向。随着数据中心服务器芯片算力的持续提升，IT 机柜单柜平均功率将很快从 68kW 提升到 1216kW。据测算，当 IT 机柜功率密度达到 16kW/柜的时候，配电间和 IT 空间的面积比例甚至可达到 1：1，如何保证 IT 的出柜率，持续降低电力模块的占地成本成为迫切需要解决的问题。通过将 UPS 输入输出配电与 UPS 深度融合，减少电力模块链路节点，在产品架构上极简来省占地，将是电力模块演进的方向。图 7 IT 机柜的演进智能化成为安全和运维的关键手段。电力模块统一的智能管理系统，可以有效提升电力模块系统的安全性，由本地

49、智能管理系统和智能网管组成，本地18数据中心绿色设计白皮书ODCC-2023-02001智能管理系统硬件由变压器的温控器、低压柜/馈线柜的柜级监控单元、UPS 主控把各柜信息通过智能插座汇入 ECC 主控；ECC 主控统一监控汇总，在本地 PAD上统一显示电力模块各单元的电流、电压、频率、电能、谐波、负载率、开关状态、UPS 状态、各节点温度，供用户本地直观的识别系统运行状态；同时ECC 把信息上报给网管，供网管显示 3D 视图、电压电流电能等运行参数、链路图及故障影响分析、开关在线整定、开关健康度预测、UPS 电容/风扇寿命检测、各节点温度预测及 AI 异常预警、图像 AI 识别等智能运维特

50、性，能够实现智能运维，变被动维护为主动运维，在提升系统安全性的同时也尽可能的提升了系统运维效率。巴拿马电源柔性集成了 10kV 的配电，隔离变压，模块化整流器和输出配电等环节，采用移相变压器取代工频变压器，并从 10kVac 到 240V dc 整个供电链路做到了优化集成。该方案具有高效率、高可靠性、高功率密度、高功率容量、兼维护方便等特点。比传统数据中心的供电方案，占地面积减少 50%，其设备和工程施工量可节省 40%，其功率模块的效率高达 98.5%，架构简洁可靠性高。蓄电池单独安装，系统容量可以根据需求进行灵活配置。巴拿马电源优势：一是高可用性。巴拿马电源在 240V/336V HVDC

51、 系统的基础上，又进一步精简低压AC 的配电环节，平均无故障时间相比 240V/336V HVDC 系统又提升大约 27%（以华东某机房为例：巴拿马电源系统平均无故障时间是 14 年，而传统 240V/336VHVDC 系统为 11.5 年）。二是效率高。巴拿马电源由传统变压器改为移相变压器，省掉功率因数调节环节，移相变压器的效率为 99%，整流调压部分的峰值效率为 98.5%，整体峰值效率可达到 97.5%。(2)智能 UPS(2)智能 UPS智能 UPS 和 HVDC 将逐渐取代传统 UPS。对供配电系统而言，很多事故都可以通过早期的精密监控和智能算法来提前识别预防，而非等到器件损坏、模块

52、故障或系统失效后再被动告警，这种主动预测性维护是不间断电源智能化的核心，即变被动告警为预测性维护。从解决方案看，智能 UPS 技术以及 HVDC 将是不间断电源的未来发展趋势。19数据中心绿色设计白皮书ODCC-2023-02001智能 UPS 节能技术智能 UPS 节能技术：新一代 UPS 设备需具备极高的运行效率，满足数据中心进一步节能减排的需求，具备动态在线模式的 UPS，即一种逆变器兼做有源滤波器的 UPS，其包括旁路装置、市电转换装置、直流转换装置、逆变器、控制装置，用于检测旁路电压频率并基于所述旁路电压频率生成旁路模式信号或者主路模式信号的旁路判断装置，可在确保设备可靠性的同时，显

53、著提高运行效率。动态在线模式在静态旁路的基础上增加了有源滤波功能，该模式下逆变器作为有源滤波器实时动态在线，配合静态旁路上的电能调制单元，使系统能够满足相当大范围的电网和负载电能调节需求。当无功负载或非线性负载连接到 UPS 并且存在谐波或无功电流时，UPS 中的逆变器能够起到有源滤波器的作用来进行补偿，并且仅消耗部分电能来补偿电路干扰，在实现提高系统电能质量的同时，实现高达 99%的最高效率，且供电无任何间断。AI 技术与 UPS 的结合AI 技术与 UPS 的结合：该技术可加强 UPS 持续输出满足应用要求的高供电质量，同时亦可实现高达 99%平均运行效率的节能。此外，高压直流技术在供电可

54、靠性、供电安全性、可扩展性、运行控制效率、谐波污染等方面具有明显的优势。而传统 UPS 系统串联设备多，易引起单点故障，冗余度增加了安全保障，但同时也导致系统效率较低、成本过高的问题，并且传统 UPS 系统维护不易，扩容难度大，制约了业务的进一步发展。高压直流系统的使用，精简优化数据中心供配电架构，减少了供配电变流装置的数量及损耗，提高了数据中心电能使用效率。但直流供电系统的投入使用还存在产业生态、设备标准等问题有待进一步优化解决。支持储能系统的 UPS 系统支持储能系统的 UPS 系统：随着国家对节能政策逐步推行，UPS 电源储能技术在优化分配资源、低碳能源利用方面将发挥越来越重要的作用。随

55、着锂离子蓄电池等储能设备技术的不断进步和制造成本的降低，以及国家和各地区能源政策的鼓励和支持，国内储能市场快速兴起。UPS 不间断电源系统具有成熟稳定、高性价比、易于维护和安全可靠等特点，采用具有储能功能的 UPS 设备打造高效低成本储能系统，通过综合电能利用，实现储能收益最大化。具有储能功能的 UPS 设备在具有传统机型电源后备时间、改善电网电能质量的同时，可根据不同行业场景，灵活管理峰谷电价差，有效降低系统电费；20数据中心绿色设计白皮书ODCC-2023-02001并可根据政策要求，系统执行园区需求侧响应并获得补贴；对于特定用户，可通过系统动态扩容，降低整体增容费用；根据用户实际能源构成

56、，灵活与光伏、风能等可再生能源组成混合供电系统，提升系统可靠性。不间断电源将在保障供电可靠性同时朝节能模式发展。工频机 UPS 在能效上的局限已经掣肘了行业向低碳绿色方向发展，随着 IGBT 技术的突破，UPS 行业在近十年来不断从工频 UPS 朝高频 UPS 发展，解决了传统工频 UPS 体积大、效率低、维护难、可用性差等问题，发展至今可以说工频 UPS 已基本退出市场。数据中心行业的绿色低碳发展要求推动 UPS 不断提升能效，当前 UPS 系统的最高效率点普遍达到 96%，高性能 UPS 效率达到 97%，相比于传统 UPS 效率提升 3%-5%，以 1 台 400kVA 的 UPS 为例

57、，效率每提高 1%，在其 10 年的寿命周期内节省的电费约 35 万元，这些白白损耗的电能产生热散发出来，还要额外消耗制冷系统的功率，因此高效 UPS 仍是未来的发展方向。3.制冷系统3.制冷系统绿色设计整体方案是指在数据中心设计阶段对数据中心主要架构的选择，在制冷系统方面，如风冷 DX 空调系统、水冷冷水机组系统、蒸发冷却系统、新型氟泵系统、液冷系统等。整体制冷设计方案的选择对数据中心的绿色设计有重要且不可替代的影响，是决定数据中心 PUE 下限的重要因素。在选择整体设计方案时应充分综合考虑数据中心所在地区的气候特点、水资源供应情况、数据中心规模以及 IT 功率密度。1)整体设计方案(1)风

58、冷 DX 空调系统(1)风冷 DX 空调系统风冷 DX 空调系统主要是通过风冷 DX 精密空调对数据中心进行制冷，其主要特点是设备构成简单、部署灵活，能够满足低功率的制冷需求。风冷 DX 空调的蒸发器在数据中心机房室内，为服务器和网络机柜提供冷量；冷凝器放置于21数据中心绿色设计白皮书ODCC-2023-02001室外，与环境空气进行换热。冷凝器形式较为多样化，可与采用一对一，也可采用集中布置方式。(2)水冷冷水机组系统(2)水冷冷水机组系统水冷冷水机组系统主要构成包括水冷冷水机组、冷冻水泵、水冷型末端精密空调、室内风机、冷却水泵、冷却塔、板式换热器，其主要特点是系统较为复杂、设备种类多、需要

59、部署集中式冷站。水冷冷水机组系统利用水冷冷水机组或者板式换热器制取冷冻水，冷冻水通过末端水冷型精密空调给机房散热。根据制取冷冻水方式的不同可分为三种工作模式：完全机械制冷、部分自然冷却以及完全自然冷却。完全机械制冷模式完全依靠冷水机组制取冷冻水，一般在夏季开启。如果经过板换后的冷冻水出水温度不能低于供水温度的要求，则需要打开机械压缩制冷机进一步给冷冻水降温，相当于利用了部分自然冷源，这就是部分自然冷却模式，一般在春秋等过渡季时开启。如果经过板换后的冷冻水出水温度达到供水温度要求，则不需要完全打开机械压缩制冷机给冷冻水降温，全部利用室外自由冷源，这就是完全自然冷却模式，一般在冬季低温节开启。(3

60、)蒸发冷却系统(3)蒸发冷却系统蒸发冷却技术是利用水蒸发冷却原理，采用直接蒸发或者间接蒸发的方式获得冷风的技术，可以分为直接蒸发冷却技术和间接蒸发冷却技术。直接蒸发冷却系统是（AHU）是指空气与雾化的水直接接触，由于水的蒸发，空气和水的温度都降低，而空气的含湿量有所增加，将降温后的冷空气直接引入数据中心对服务器和网络机柜进行冷却。直接蒸发冷却系统具有风量大、温差小，冬季加湿效果好等优点，但是该技术也有一定的局限性，在露点较低的地区使用该技术会带来不必要的除湿费用，而且对室外空气的直接引入也会导致室内湿度分布不均匀以及细颗粒物和污染物带入等问题，需采用过滤器对新风进行过滤，因此在使用该技术时，必

61、须充分考虑当地的空气质量以及气候条件等因素。直接蒸发冷却技术已经在一些地区得到了应用，并取得很好的效果。22数据中心绿色设计白皮书ODCC-2023-02001间接蒸发冷却是指将直接蒸发冷却得到的湿空气或循环水的冷量通过非直接接触式换热器传递给待处理的空气，实现空气的等湿降温。间接蒸发冷却是通过各种类型换热器来实现的，其主要类型有管束式、板式、热管式等形式。间接蒸发冷却技术具有效率高、安全性好、不易堵塞等优点。(4)新型氟泵系统(4)新型氟泵系统新型氟泵系统结合了间接蒸发、风冷、氟泵、热管（冷媒自身的相变功能）的各自优势，通过不同的送风方式对数据中心进行制冷，其主要特点是设备构成简单，部署相对

62、灵活，能够满足中高功率的制冷需求及中大规模数据中心的需求。新型氟泵系统可以是户外一体机、一拖一、一拖多等多种型式，在自然冷季节，可完全启动重力热管方式进行制冷。(5)液冷系统(5)液冷系统现在的机架功率和单机架功率密度都在不断增长，传统的服务器风冷散热方案已经不能满足散热需要，先进的液冷技术开始在各个数据中心进行广泛应用。液冷技术可以将数据中心的空气用液体进行替代，在替代过程就可以将各个发热器件运行中所产生的热量带走等。目前液冷技术主要分为冷板式、浸没式和喷淋式三种。其中，浸没式和喷淋式液冷等为接触式液冷，冷板式液冷为非接触式液冷。冷板式液冷技术可以不直接接触冷却对象就将热量带走，该技术是通过

63、高效热传导部件来对热量进行发散；浸没式液冷技术属于直接冷却技术，该技术使用的冷却液能够隔绝元器件产生的电气，通过和发热器件进行直接接触就可以带走热量；喷淋式液冷技术通过改造 IT 设备，部署适量的喷淋器件，在设备运行中，可以针对热量过高的器件进行冷却。液冷技术具有制冷能效高、节约水资源和机房空间的优势，因此，有条件的数据中心开始应用液冷技术进行降温。应用液冷技术进行降温，不再需要配置风扇、空调末端和冷冻机组，也不需要安装架空地板和冷热通道设施，和传23数据中心绿色设计白皮书ODCC-2023-02001统的制冷技术相比，液冷技术不需要占据很大的机房空间，可以将节省的机房空间用来布置更多的 IT

64、 设备，从而提高了企业的经济收益。此外，液冷技术突破了气候条件和地域的限制，可以在全国任何地区进行应用，即使是华南、华东等温度高的地区也可以应用液冷技术进行冷却，最终促使数据中心的制冷电力消耗大幅度降低。(6)余热回收(6)余热回收数据中心服务器在运行的过程中，产生大量的余热，这些余热有着易提取、热源充足等特点，利用热泵技术将数据中心余热回收利用，在数据中心有着广泛的应用前景，尤其是在我国北方地区，可有效帮助用户降低用热成本。现阶段我国 IDC 行业的节能重点主要集中在绿电的应用、空调系统的节能减排、IT 系统的降耗等方面。伴随着数字经济的发展，数据中心的规模和数量都呈现出快速增长的趋势。更大

65、规模、更多数量的数据中心建设，将有更多的设备，产生更多的余热，这些余热如果能被加以利用，可以加速数据中心“碳中和”。现阶段大多数据中心采用风冷降温，相较于液冷数据中心，风冷数据中心余热收集及运输难度较大，成本较高。液冷系统携带热量介质为冷却液，流动性强、品味较高、方便运输，相对于风冷系统，投资成本较低，利用率较高，更适合余热回收利用。液冷系统余热回收系统可选择接入液冷系统一次冷却循环系统或二次冷却循环系统提取余热，也可选择与液冷系统串联或并联的运行方案，对余热可采取提质利用或直接利用两种类型，对余热提质利用的方式又包括热泵系统、光热系统、电辅助加热、锅炉辅助加热等4。进行系统设计时宜充分考虑综

66、合利用光热、地热等清洁能源，以及与周边建筑、园区协同建立余热回收利用体系的可行性。4开放数据中心委员会 ODCC.浸没式液冷数据中心热回收白皮书24数据中心绿色设计白皮书ODCC-2023-02001(7)总结(7)总结从各地区气候差异和水资源供应情况的角度，绿色设计需要从业务角度分析，业务种类会影响服务器的运行温度，从而影响设计方案，同时考虑同样构架在不同地区的适用性和 PUE 表现。风冷 DX 空调设备构成简单、部署灵活，适用于对能效要求不高且规模较小的数据中心；水冷冷水机组设备种类多、系统较为复杂、运维难度大，其根据季节变化调整系统运行模式，可最大化利用自然冷源，适用于对能效要求较高且自

67、然环境适宜的大规模数据中心；蒸发冷却机组尤其是直接蒸发冷却机组适用于数据中心室外空气洁净度好、常年温度较低的场景，能够做到极致的节能效果，需具体到当地甚至是园区的空气质量分析，且其运维难度较复杂；新型氟泵系统设备构成简单，部署相对灵活，集成了蒸发冷却、主动热管、风冷等自然冷却技术，适用于能效要求高的数据中心；液冷技术不仅能够满足数据中心高密度、低能耗的发展需求，还将驱动数据中心内的各种配置和部件进行创新，其可支持约 30kW 高功率密度，而传统机柜仅支持 10kW 左右，液冷技术对设备和冷却液安全性要求极高，适用于能效要求高的数据中心。表 2 风冷、水冷、蒸发冷却、新型氟泵系统、液冷系统对比类

68、别类别风冷风冷 DX 空调空调水冷冷水机组水冷冷水机组蒸发冷却蒸发冷却新型氟泵新型氟泵液冷液冷能效能效较低较高高高高CLF0.25-0.50.12-0.40.11-0.250.06-0.180.05-0.15适用机柜功率适用机柜功率中低中中低中高中高安全性安全性独立系统，安全性高需备份以提升安全性对气候条件/空气要求高安全性高对设备和冷却液安全性要求极高运维难度运维难度简单复杂较复杂简单简单适用规模适用规模小大小/大小/大小/大2)局部优化设计25数据中心绿色设计白皮书ODCC-2023-02001(1)气流组织优化设计(1)气流组织优化设计气流组织是数据中心冷却的首要问题，如果规划不好，数据

69、中心在实际使用过程中会出现气流组织不均匀、局部热点等问题，从而影响机房的整体排热效果，并带来更多能源消耗。气流组织优化设计是对机房不通畅、不合理的气流组织进行规范、优化，防止气流回流、掺混、紊乱，确保机房内的气流有序、有组织地从服务器带走热量，提高空调系统送风的有效使用效果，从而降低机房空调的运行费用，降低 PUE。作为对数据中心 IT 设备冷却的最终环节，气流组织的优良决定了冷却的效果和效率。经过不断的优化和改良，气流组织正从房间级逐步向行间级、机柜级、服务器级的方向推进。目前数据机房空调的送风方式有侧送侧回、上送下回、上送上回、下送上回及顶送顶回等多种方式。经研究表明：顶送顶回方式是最佳送

70、回风方式，下送风方式比上送风更有利于机房的气流组织和提高送风效率，根据传统机房建设情况，数据机房空调送风大多采用地板下送风方式，但随着对服务器本身认识的逐渐加深，其它气流组织方式会不断催生，既要满足设备本身的需求，也要满足人员参观、操作维护等舒适性要求。气流组织优化的方式之一是冷热通道隔离封闭，近年来大型的数据中心，尤其是中高密度的数据中心优先热通道封闭（如背板、列间、风墙），同时冷通道加装隔离门（如列间）。在满足机房温度条件的情况下，气流组织优化后，通过合理提高机房内的设定温度，进而提高制冷系统的送风温度，是减小制冷设备能耗的有效方法之一。研究表明，随着蒸发温度的提高，制冷机组性能增大，且蒸

71、发温度每提高1，机组 COP 约提高 3.3%。(2)细化设计颗粒度(2)细化设计颗粒度细化设计的颗粒度，针对不同类型的机房采用不同的制冷方式，可进一步提升数据中心总体能效，如核心网络包间可采用氟泵精密空调解决制冷效率问题等。加装氟泵技术主要应用在风冷直膨式空调机组上，系统由氟泵、蒸发器、26数据中心绿色设计白皮书ODCC-2023-02001冷凝器以及管路阀门等组成，与原专用空调配套使用，组合成两套不同的制冷循环模式：压缩机制冷模式和氟泵制冷模式。在夏季或室外温度较高的过渡季节，空调机组运行在压缩机制冷模式，制冷剂吸收机房的热量蒸发，在压缩机内加压后排入冷凝器冷凝液化，此时压缩机开启；在冬季

72、或室外温度较低的过渡季节，空调机组运行在氟泵制冷模式，蒸发器中吸收机房热量后的制冷剂，直接进入风冷冷凝器与室外冷源换热，冷凝成液态后，在氟泵的作用下克服管道阻力回到蒸发器，此时压缩机关停，从而达到节能效果。4.监控系统4.监控系统通过数字孪生技术，在设计阶段对整个数据中心或局部区域的能耗进行分析，同时反馈模拟运行的 PUE，利用机器学习等 AI 技术实现运行优化，达到极致最低 PUE。近些年智能系统越来越被人们所重视，智能系统不能只是一系列规则或预设模型的综合体；它至少应具备一定的自适应学习能力，能够基于数据驱动进行学习、能够基于算法求解进行优化决策的智能体，实现负荷预测、系统仿真、算法优化等

73、。负荷预测负荷预测 系统运行调节的目的是为了让后续运行更加高效，它是面向未来负载工况的调节，而非基于当前或过去负载进行调节。对未来一段时间的负载进行可靠预测，就成为运行调节的基础前提。如果调控所面向的未来一段时间负载比较稳定，则可以用当前采集到的负荷作为估计值，用于进行节能调控；如果未来一段时间负载存在较明显波动，则需要基于一定的预测算法或策略进行估计。通过负荷预测，可以为系统运行策略推荐合适的时机，避免盲目进行系统模式切换；通过负荷预测感知未来一段时间的负荷走势，可以用于实现系统智能化的在线调节，实现系统运行的“无人驾驶”。系统仿真模型系统仿真模型 运行调节的目标是让所选择的能效指标达到最大

74、化，当一组设定参数给定后必须要有一个系统仿真模型，用于评估出其性能好坏。系统仿真模型，可以是基于物理机理的模型，也可以是数据驱动的模型，还可以是二者混合的模型；一般要求具有一定的自适应性，以保持模型的准确性。仿真模型的建模方式有很多种，总的目标是为了模拟实现系统的真实性。在设计阶段，27数据中心绿色设计白皮书ODCC-2023-02001业界目前普遍利用 CFD（Computational Fluid Dynamics，计算流体动力学）来模拟未来的热量分布，从而实现如调整制冷设备设置（如空调送风角度、温度、大小等）、机柜上架规划、冷热通道设计、设备选择乃至服务器配置等操作，提前制定优化控制策略

75、和应对方法，避免局部热点及送风不均衡，提高用电效率，助力绿色设计。四、数据中心绿色设计优秀案例四、数据中心绿色设计优秀案例1.腾讯仪征数据中心设计 PUE 方案1.腾讯仪征数据中心设计 PUE 方案行业领先的技术架构、节能高效的设备选型、敏捷灵活的智能运维体系，将数据中心年平均设计 PUE 控制在 1.25 以下。腾讯仪征数据中心设计方案采用多项技术措施来提升能源利用率降低 PUE。供配电系统设计方面，末端供电形式采用 HVDC 高压直流+市电直供的供电架构，兼顾 HVDC 供电可靠性和市电供电高效性，系统综合供电效率可达 98%，比双路高压直流节能 2%以上，比双路UPS 节能 6%以上。H

76、VDC 采用模块化设计，开启智能休眠模式后可大大提高轻负载下的系统效率。同时采用能效更高的变压器等设备，在设备布局时，将变压器深入负荷中心部署，尽量缩短配电路由，进一步降低电力损耗。制冷系统设计方面，采用间接蒸发制冷空调方案，分布式部署，相对于传统集中冷却系统，具备更好的可靠性。同时得益于间接蒸发制冷技术可以充分利用自然冷却，在运行能效方面也有优秀的表现，相对于传统的冷却系统运行 CLF 预计可降低0.05 以上。按照仪征当地气候条件，年完全自然冷却时间占比可达 64.3%。全年平均 CLF 低至 0.1125。运营优化方面，通过完善的智能化运维系统，根据不同的室外环境和业务负载率情况去动态调

77、整各个设备的运行状态，进一步降低数据中心能耗，提高电力利用效率。2.维谛广州数据中心设计 PUE 方案2.维谛广州数据中心设计 PUE 方案该数据中心采用智能动态在线 UPS、间接蒸发智能热管空调满足南方高温地区数据中心能效要求。供配电系统设计方面，设置 UPS 不间断电源装置，为运营商机房、机房精密空调、BA 控制和安防设备等重要负荷提供 AC 220/380V28数据中心绿色设计白皮书ODCC-Hz 的不间断电源保障。IT 设备用的 UPS 系统电池后备时间按满足单 N 系统设计负荷 15 分钟（2N 30 分钟）配置。IT 设备用的空调负载用 UPS 保障供电，U

78、PS 系统电池后备时间按满足设计负荷 15 分钟配置。制冷系统设计方面，采用新型氟泵系统 N+1（N5）配置，各房间按照冷负荷单独设置空调，互不影响。模块机房和低压配电室等负荷较大的房间，空调系统加带氟泵，形成风冷氟泵系统，在过渡季节和冬季，根据房间负荷的变化降低压缩机出力，启用氟泵给制冷剂提供足够循环动力，从而达到节能的目的。同时在屋面设置水喷雾系统，在夏季或需要加强自然冷却时间时使用。精密空调直接由 UPS 系统及柴油发电机保证，市电断电后，可以不间断运行。末端精密空调的 EC 风机为无级变速，由 UPS 保障可不间断运行。所有精密空调均需自带双电源切换装置。3.网宿&绿色云图上海数据中心

79、设计 PUE 方案3.网宿&绿色云图上海数据中心设计 PUE 方案上海全浸没式液冷机房，拥有“DLC 浸没式液冷技术”，具有自主知识产权的定制化液冷节能系统及系列技术。供配电系统设计方面，采用不间断电源+市电直供的模式。IT 设备的不间断电源采用了高压直流的供电系统，进一步提升了电源转化效率。动力负荷的不间断电源采用了国际领先的 UPS 选型，实际工作中采用 ECO 模式，可以让效率高达 99%。实际的测试中，当外市电出现不稳定的时候，可以在 2ms 切换到正常的逆变模式。最核心的节能措施是机柜的冷却技术是拥有自主专利的浸没式液冷技术。液冷机房冷却系统设计原则是充分利用室外自然冷源，减少压缩机

80、电制冷的方式获得冷却水介质。结合如上原则，充分利用液体自身高效换热特性，可将直接接触服器的冷却液和常规冷却塔的冷却水通过一次换热器实现两侧介质的换热，实现液冷系统全年连续循环。液冷机房的冷却水系统等同于传统风冷机房冷冻水系统全年都在不开冷机的free cooling 模式运行。4.华为贵州数据中心设计 PUE 方案4.华为贵州数据中心设计 PUE 方案采用直通风 AHU 散热，实现数据中心免费制冷（free cooling），同时基于风量匹配、负载均衡以及 L1/L2 联动持续优化运营 PUE。供配电系统设计方面，采用 N+R 架构，配置电力模块。冷却系统设计方面，采用直接蒸发 AHU 制29

81、数据中心绿色设计白皮书ODCC-2023-02001冷，直接将室外新风引入数据中心内部，所以数据机房不再设置单独的新风系统。为了满足数据机房高效送排风，除了配置直接用于送风的空调机组外，在机房另一侧也配有排风井和排风风机，风机可以变频以维持数据机房的正压。本方案主要设计亮点在于 iCooling 能效调优（L1）和 L1/L2 联动调优。iCoolingAI 能效优化技术，在给定的天气条件、IT 负载、业务 SLA 等输入的情况下，通过深度神经网络模型进行能耗拟合及预测，并结合寻优算法，推理出最优 PUE 下的对应的系统控制参数，实现数据中心能效自动化调优。L1/L2联动调优通过感知每个模块服务器的需求风量，调优直通风的供给风量，实现风量自动匹配；通过感知末端 IT 负载，基于末端负载不均衡工况下进行冷量匹配调优。