上海品茶

华为&国家信息中心:“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告(2022)(56页).pdf

编号:80375 PDF 56页 3.31MB 下载积分:VIP专享
下载报告请您先登录!

华为&国家信息中心:“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告(2022)(56页).pdf

1、数据中心绿色高质量发展研究报告“碳达峰、碳中和”背景下国家信息中心 | 贵州省大数据发展管理局 | 华为技术有限公司 | 粤港澳大湾区大数据研究院2022年5月在数字经济时代数据成为重要的生产要素,与土地、资本和劳动力等有形的生产要素不同,数据需要通过挖掘利用才能显示其价值。数据挖掘是大数据产业链中主要一环,数据挖掘需要算力,发展算力已成为世界上主要国家的战略选择。算力包括支持科学计算的超算、专用于人工智能计算的 AI 中心、政企单位自建的数据中心和面向公众的互联网数据中心,此外 PC 和手机等个人终端也具有一定的算力。 据预测在 “十四五” 期间我国数据中心算力将以年均 20% 的速度递增。

2、互联网数据中心是算力的底座,我国十分重视数据中心的建设,最近国家部署建设全国一体化大数据中心协同创新体系算力枢纽,东数西算工程是其中的主体,这不仅是信息技术新时代的新基建,也是数字经济的平台和网络强国的重要举措,还是实现双碳目标的重要路径。数据中心的建设与运行将促进企业数字化转型包括支持能源结构调整和产业结构调整,助力碳达峰碳中和。有资料分析并预测,到 2030 年全球信息技术帮助各行各业减碳的量是信息技术自身排放量的十倍, 尽管如此, 降低信息技术产品自身的能耗仍然是值得重视的。 以数据中心为例,2020 年我国数据中心能耗约占全社会 2%,过去 8 年年均增速 12%,能源成本已占数据中心

3、总成本的一半,因此减碳既是企业的社会责任并体现为社会效益,也将产生经济效益。数据中心的绿色高质量发展首先要着眼于提升能效,同时还要兼顾可扩展性、可靠性、安全性、投资回报等,需要从节能减排技术、区域布局、数据中心体系架构、数据中心产业链、数据中心运营管理模式、算网协同等多维度共同发力, 可见绿色数据中心的建设与运行需要以系统工程的思维来综合考虑。本报告分析数据中心及一体化大数据算力枢纽绿色高质量发展面临的挑战,提出了破解思路与解决方案,指出在建设阶段与运营阶段分别需要注意的问题,从供配电、制冷、存储、算力网络、源网荷储协同等多方面给出节能方案,并归纳了推动绿色数据中心规模部署的专项建议。本报告是

4、编写单位长期研究心得与实践经验的总结,不仅内容全面、技术先进,而且案例实用,有可操作性,对我国数据中心的建设尤其是实施东数西算工程有很好的示范意义,本报告展示的节能减排技术方向值得进一步创新发展,期待本报告能激励更多有志于发展数据中心的科技工作者在绿色高质量发展方面做出更大的贡献。序 言中国工程院院士专家指导组成员执行组成员编制组成员刘宇南 国家信息中心主任周 民 国家信息中心副主任于施洋 国家信息中心大数据发展部主任娄 松 贵州省大数据发展管理局副局长鞠德刚 华为技术有限公司数据中心解决方案总经理陈学义 粤港澳大湾区大数据研究院理事会理事长王建冬 国家信息中心大数据发展部规划与应用处处长 粤

5、港澳大湾区大数据研究院院长吴启疆 贵州省大数据发展管理局项目投资处处长费珍福 华为数字能源技术有限公司数据中心能源领域总裁国家信息中心大数据发展部郭明军 规划与应用处副处长童楠楠 规划与应用处副处长易成岐 规划与应用处副研究员陈 东 规划与应用处高级工程师赵 正 规划与应用处助理研究员窦 悦 规划与应用处助理研究员黄倩倩 规划与应用处助理研究员李慧颖 规划与应用处工程师马 骁 规划与应用处研究实习员编制组成员贵州省大数据发展管理局刘 梅 高级工程师华为技术有限公司窦雪峰、张华桦、谢黎明、张磊、赵晓靓、夏卓新粤港澳大湾区大数据研究院李 琳 常务副院长王新玉 总规划师吴 茜 工程中心工程咨询组组长

6、李昌旺 工程中心工程研究组梁楚夷 工程中心工程研究组王天瑞 工程中心工程研究组李会永、黄锦波、杨嘉、魏智杰、李宝宇、刘培国、张超、翟爽、折楠、沈瑞、牛翔平、高福信、李艳、程炜、蓝飞翔、周胡根的 大力支持云上贵州大数据产业发展有限公司蔡 培 高级规划咨询师唐 虎 高级规划咨询师鸣谢版权声明本文档著作权属于国家信息中心、贵州省大数据发展管理局、华为技术有限公司、粤港澳大湾区大数据研究院共同所有,保留一切权利。转载、摘编或以任何方式使用本文档的全部或部分内容,应注明来源,违反上述声明者,著作权方将追究其相关法律责任。免责声明本文档信息不构成任何要约或承诺,编制单位不对您在本文档上做出的任何行为承担责

7、任。编制单位可能不经通知修改上述信息,恕不另行通知。目 录1. 时代背景2. 趋势洞察3. 全新挑战4. 核心价值5. 解决思路及专项建议结束语 43附录:绿色节能数据中心优秀实践西部区域数据中心重点关注集约化和绿色化 44东部区域数据中心重点关注高算力和高能效 491.1 数据中心绿色高质量发展的内涵要义 011.2“碳达峰、碳中和”提出的时代背景 021.3 数据中心产业变革的必然趋势 022.1 政策趋势 042.1.1 国际数据中心绿色高质量发展相关政策 042.1.2 国内数据中心绿色高质量发展相关政策 062.2 技术趋势 092.2.1 设计建设阶段采用的技术 102.2.2 运

8、营阶段采用的技术 112.3 应用趋势 143.1 单体数据中心面临的新挑战 173.1.1 数据中心 PUE 值偏高问题,节能新技术的应用程度有待提高 173.1.2 中国数据中心企业在建设模式上需要升级 173.1.3 数据中心能耗测算方法“双重失真”问题 183.2 全国一体化大数据中心发展面临的挑战 183.2.1 数据中心发展不平衡不充分的结构性问题 183.2.2 算力调度面临网络需要优化和资费偏高问题 193.2.3 数据中心行业对清洁能源的开发利用还有较大提升空间 194.1 推动数据中心降本增效 204.2 促进传统产业数字化转型升级 214.3 助力实现全行业节能降碳 21

9、5.1 推动数据中心绿色高质量发展总体思路 235.2 单体数据中心解决方案及专项建议 235.2.1 解决方案 235.2.2 专项建议 385.3 全国一体化大数据中心解决方案及专项建议 395.3.1 解决方案 395.3.2 专项建议 41011.1 数据中心绿色高质量发展的内涵要义党的十八大以来,我国数字经济蓬勃发展,对构建现代化经济体系、实现高质量发展的支撑作用不断凸显。随着各行业数字化转型升级进度加快,不仅对数据存储、计算和应用需求大幅提升,对用能需求也呈现快速增长态势,数据中心迎来了爆发式增长,过快的需求增长以及业务扩张给数据中心行业带来了巨大的资金和业务压力。另外,数据中心算

10、力分布不均衡、整体能耗难以把控、精细化管理实现困难等问题快速浮现,为整个行业今后的健康成长提出了更高要求。在全行业深化数字化转型时代机遇下,为了进一步推动数据中心行业的高质量发展,需要时刻保持面向全局的战略思维,针对当前和未来可能预见的问题,从布局优化、技术升级、管理精细化等角度持续进行深入细致研究,全面推动数据中心绿色高质量发展。高质量发展的核心要义是要全面体现“创新、协调、绿色、开放、共享”的新发展理念,其本质内涵是要以满足人民日益增长的美好生活需求为目标的高效率、公平和可持续发展。数据中心是未来经济社会发展的战略资源和数字基础设施。数据中心的高质量发展应贯彻新发展理念,构建新发展格局,统

11、筹处理好发展和减排、整体和局部、短期和中长期的关系,加强数据、算力和能源之间的协同联动,加快推动关键技术创新,坚定不移走高质量发展之路。数据中心高质量发展的内涵从不同角度切入,可以包括绿色、协同、统筹、智能等,而数据中心绿色高质量发展研究报告着重从绿色和协同角度切入分析,并提出相关解决方案和配套的专项建议。绿色是指要采用创新节能技术,在保证业务性能的前提下尽可能提升设备的能效和工作效率,通过采用精细化、智能化的管理方式,在各个层面优化对资源的调配和管理。另外,要充分利用可再生能源优势,进一步降低碳排放,进而发挥数据中心作为数字化新基建的基础性支撑作第一章 |时代背景01时代背景02“碳达峰、碳

12、中和”背景下数据中心绿色高质量发展研究报告用,驱动社会千行百业尽快实现节能降碳的目标。协同是指要推动超大型或大型数据中心集群、城市高性能计算数据中心、边缘数据中心等不同层级设施的协同布局规划,实现数据中心与数据中心直连网络、互联网络云网协同,实现数据中心与绿色可再生能源网络“源 - 网 - 荷 - 储”协同。1.2“碳达峰、碳中和”提出的时代背景气候变化是人类面临的全球性问题,随着各国二氧化碳排放,温室气体猛增,对生命系统形成威胁。最近二百年工业活动的出现和繁荣造就了便利而智能的现代生活,但是数百万年才能形成的煤炭与石油等初级能源被快速开采, 通过燃烧发电等处理方式使其中的碳再次逸散到大气中,

13、二氧化碳、甲烷等温室气体的浓度增加使脆弱的气候平衡面临被打破的恶性局面,对脆弱的碳循环平衡造成了挑战。在这一背景下,大力开展节能降碳,积极应对气候变化是巴黎协定签署之后世界各国的共识。与此同时,我国社会也进入了新的发展阶段,无论是来自世界外部的发展趋势还是自身发展的需求,使得中国的经济发展从追求速度与效率的方式转向生态文明建设,走绿色低碳可持续的道路。在这样的时代背景下,2020 年 9 月中国明确了“碳达峰、碳中和”目标,标志着中国对促进经济高质量发展,社会繁荣和生态环境保护的决心。通俗来讲,碳达峰是指二氧化碳排放量在 2030 年达到最大值,之后进入下降阶段;碳中和则指到 2060 年,我

14、国所有社会活动产生的二氧化碳通过植树造林、海洋吸收、工程封存等自然、人为手段被吸收和抵消掉,实现二氧化碳相对 “零排放” 。 另据统计, 2020年我国数据中心耗电量约占社会总耗电量75110亿千瓦时的2%。在确保数据中心业务能力满足需求同时,对数据中心的绿色化提出更高要求成为了我国双碳道路上的关键任务,这一目标也成为今后引领数据中心技术和产业升级的全新方向。1.3 数据中心产业变革的必然趋势自 2020 年新冠疫情发生以来,经济社会发展的数字化需求急剧爆发,越来越多的商业与消费活动转向线上,数字产业与信息技术产业快速增长。Omdia 的相关数据显示,从 2018 年到032024 年,来自蜂

15、窝网络与固定宽带的消费者数据流量将以 29% 的年复合增长率增长,数据流量总量将从 2018 年的 130 万 PB 增长到 2024 年的 580 万 PB,这样的增长速度对现有的包括数据中心、数据中心互联网络和互联网接入网络等 ICT 基础设施产生了巨大的挑战。为了应对全新需求,运营商、云厂商、互联网企业等纷纷对其数据中心进行升级、扩容与扩建。而数据中心在处理业务负载的过程中消耗大量电能,产生大量的间接碳排放。在包括中国在内的全球数据中心的耗电量占社会耗电总量预计从 2020 年的 2% 增长到 2025 年 4% 左右 ( 来源:Omdia,2020)。这一增长速度在日益收缩碳排规模的工

16、业制造业等传统碳排大户中显得尤为突出。除了数据中心本身的绿色低碳化迫在眉睫,作为承载千行百业的新型基础设施,数据中心可以有效促进其所承载的高能耗行业进行快速的数字化转型和低碳化转型。数字经济的耗能产出结构具有“二重叠加”的特殊属性,即每“耗费”在数据中心上的一度电,其不仅仅是为数据中心企业贡献了一定运营产值,同时也为运行在其上的各种云计算、大数据、互联网服务等应用类产业贡献了大量运营产值。据测算,每消耗 1 吨标准煤,能够为数据中心直接贡献产值 1.1 万元,并可贡献 88.8 万元的数字产业化增加值,同时还可带动各行业数字化转型,间接产生 360.5 万元的产业数字化市场(已剔除这些厂商业务

17、中与数据中心不直接相关的部分)。据全球电子可持续性倡议组织(GeSI)预测,到 2030 年,全球 ICT 行业碳排放占全球碳排放的 1.97%;而 ICT技术通过使能其他行业,将帮助减少全球总碳排放的 20%,是自身排放量的 10 倍,这一现象被称为“碳手印”。由此可见,数据中心的绿色低碳进程不仅促进自身的高质量发展,还能赋能高能耗的传统产业,通过“上云用数赋智”行动不仅仅实现“一业带百业”,同时带来“阶乘降耗效应”,对提升全社会生产效率和全要素生产率作用巨大。在“碳达峰、碳中和”大背景下,数据中心产业变革的核心环节在于绿色节能数据中心的高质量发展,通过先进节能技术、高效协同网络和可再生能源

18、来使能数据中心自身和高耗能行业节能降碳,促进实现国家“碳达峰、碳中和”的宏伟战略目标。第一章 |时代背景04“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告02趋势洞察2.1 政策趋势在全球积极应对气候变化目标下,绿色低碳成为数据中心的重要发展方向,美国、欧盟、日本等数字经济发展基础较好的国家或地区均在单体数据中心领域相继发布了相应政策。我国在充分论证研究基础上,规划布局了 8 大算力网络国家枢纽节点,引导大规模数据中心适度集聚,通过实施“东数西算”工程,积极探索构建形成以数据流为导向的新型算力网络格局。目前全球大多数国家和地区均对应对气候变化目标做出承诺,其中多国均发布了数据中心领域的

19、节能降碳政策,这些政策大多面向单体数据中心,大致可分为数据中心整合优化、鼓励节能技术研发和应用、鼓励可再生能源利用和规范数据中心设计建设方法四类。2.1.1国际数据中心绿色高质量发展相关政策05表1 国际数据中心绿色高质量发展相关重点政策国家或地区政策内容类别美国2010 年通过FDCCI 联邦数据中心整合计划,列出数据中心整合和提高效率的工作计划,制定四个具体目标:将数据中心的总占地面积减少 40%、功率利用效率提升 20%、总 IT 能耗降低 60%、数据中心物理服务器数量减少 80%。在 2018 年发布DCOI 数据中心优化倡议,通过设定数据中心 PUE(Power Usage Eff

20、ectiveness,能源利用效率)、能源计量、服务器使用率和自动化监控以及设施利用率等具体指标,制定数据中心优化计划,向更高效的基础设施转型。整合优化类鼓励绿色节能技术研发和应用类欧盟2021 年 3 月,欧盟委员会发布2030 数字指南针:欧洲数字十年之路,提出建设可持续的数字基础设施,在 2030 年之前数据中心达到气候中立,同时利用数据中心多余的热量为家庭、企业和公共场所供暖,还将引入机制来衡量欧洲公司使用的数据中心和电子通信网络的能源效率。欧盟更新了2021 年欧盟数据中心能源效率行为准则的最佳实践指南,协助数据中心运营商制定 PUE、DCiE(数据中心基础设施效率 Data Cen

21、ter infrastructure Efficiency)等节能标准和实施措施,提高其数据中心的能源效率,引导建立绿色数据中心推进机制。鼓励可再生能源综合利用类鼓励绿色节能技术研发和应用类日本2020 年 11 月,日本推出绿色增长战略,明确到 2050 年实现碳中和目标,计划通过在数据中心、信息通信设备等基础设施中使用高性能节能半导体,减少二氧化碳排放,打造绿色数字社会。在 2030 年之前,将新建数据中心的能耗降低 30% 以上,并将日本国内数据中心的部分电力转换为可再生能源。鼓励绿色节能技术研发和应用类政策类鼓励可再生能源综合利用类新加坡2014 年 7 月发布绿色数据中心技术路线图,

22、提出数据中心设施、信息技术 (IT) 系统和数据中心设计方法三个方面的路线研究:在数据中心设施方面,通过节能的冷却技术提高能源效率,减少供配电系统转换损失或完全避免转换损失,提高能源与 IT 设备之间的功率传输效率;在信息技术 (IT) 系统方面,降低服务器的能耗,提高其能源效率,同时优化能效配置软件,降低 IT 设备的能耗,并对下游设备的能耗产生级联效应;在数据中心设计方法方面,通过多层级和模块化供应的方法,优化物理空间、冷却、电力和网络连接设计和部署。鼓励绿色节能技术研发和应用类政策类规范数据中心设计建设和方法类第二章 |趋势洞察06“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告国

23、家或地区政策内容类别印度2020 年发布2020 年数据中心政策(草案),制定了数据中心行业的增长策略,从以下方面为数据中心运作建立有利的生态系统:一是建立有效的电力开放获取制度,让数据中心服务供应商直接从电力公司采购电力;二是推行各种绿色和可持续能源计划,鼓励数据中心与电力公司合作,使用可再生能源;三是推广创新技术和解决方案,鼓励能源的有效利用,减少数据中心的碳排放。鼓励可再生能源综合利用类近年来,我国各级政府纷纷出台推动数据中心绿色高质量发展的相关政策,旨在进一步破除当前存在的数据中心总体布局失衡、节能降碳技术创新不够、传统产业转型升级不足等方面瓶颈和矛盾,为“十四五”乃至更长时期的数字经

24、济发展奠定坚实基础,助力实现“碳达峰、碳中和”目标。1. 国家层面发布政策组合拳引导绿色发展早在 2013 年,中央政府层面就发布了有关引导数据中心向绿色集约方向发展的政策。近三年来,相关政策密集发布,包括关于加强绿色数据中心建设的指导意见、关于加快构建全国一体化大数据中心协同创新体系的指导意见和关于加快建立健全绿色低碳循环发展经济体系的指导意见等,形成一套政策“组合拳”。从合理布局建设大型、超大型数据中心,提高数据中心集约化、规模化、绿色化水平,实现结构性平衡;加快绿色技术产品创新,使用高效环保制冷技术降低能耗;鼓励使用风能、水能、太阳能等可再生能源;建立健全覆盖设计、建设、运维、测评和技术

25、产品等方面的绿色数据中心标准体系;加强标准宣贯,强化标准配套衔接等方面引导数据中心的绿色高质量发展。2.1.2国内数据中心绿色高质量发展相关政策07第二章 |趋势洞察表2 国家数据中心绿色高质量发展相关重点政策时间发布部门政策2013 年 1 月工信部国家发改委国土资源部电监会能源局关于数据中心建设布局的指导意见充分考虑资源环境条件,引导大型数据中心优先在能源相对富集、 气候条件良好、自然灾害较少的地区建设。2019 年 1 月工信部机关事务局能源局关于加强绿色数据中心建设的指导意见建立健全绿色数据中心标准评价体系和能源资源监管体系,打造一批绿色数据中心先进典型,形成一批具有创新性的绿色技术产

26、品、解决方案,培育一批专业第三方绿色服务机构。2020 年 12 月国家发改委网信办工信部能源局关于加快构建全国一体化大数据中心协同创新体系的指导意见强化数据中心能源配套机制,探索建立电力网和数据网联动建设、协同运行机制,进一步降低数据中心用电成本。东西部数据中心实现结构性平衡,大型、超大型数据中心运行电能利用效率降到 1.3 以下。2021 年 2 月国务院关于加快建立健全绿色低碳循环发展经济体系的指导意见加快信息服务业绿色转型,做好大中型数据中心、网络机房绿色建设和改造,建立绿色运营维护体系。2021 年 7 月工信部新型数据中心发展三年行动计划(2021-2023 年)坚持绿色发展理念,

27、支持绿色技术、绿色产品、清洁能源的应用,全面提高新型数据中心能源利用效率。2021 年 11 月国家发改委机关事务局财政部生态环境部深入开展公共机构绿色低碳引领行动 促进碳达峰实施方案鼓励应用高密度集成等高效 IT 设备、液冷等高效制冷系统,因地制宜采用自然冷源等制冷方式。推动存量“老旧”数据中心升级改造,“小散”数据中心腾退、整合,降低“老旧小散”数据中心能源消耗。08“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告时间发布部门政策2021 年 11 月国家发改委网信办工信部能源局贯彻落实碳达峰碳中和目标要求 推动数据中心和 5G 等新型基础设施绿色高质量发展实施方案坚持集约化、绿色化

28、、智能化建设,加快节能低碳技术的研发推广,支持技术创新和模式创新。全国新建大型、超大型数据中心平均电能利用效率降到 1.3 以下,国家枢纽节点进一步降到 1.25 以下,绿色低碳等级达到 4A 级以上。2021 年 12 月中央网络安全和信息化委员会“十四五”国家信息化规划完善数字基础设施体系,形成布局合理、绿色集约的数据中心一体化格局。在推进数字化转型过程中实现绿色化发展,大力发展绿色智能终端、绿色信息网络、绿色数据中心等,挖掘各环节节能减排潜力。2. 地方层面错位布局全面推动政策落实 东部经济发达地区目前我国数据中心主要集中在京津冀、长三角、粤港澳大湾区等经济发达地区,但这些地区同时面临着

29、算力资源需求的爆发式增长及能源指标紧张的双重困境,因此整合优化和提高能效成为东部经济发达地区数据中心绿色高质量发展的重点。东部地区推动数据中心绿色高质量发展的部分政策举措包括:2021 年 4 月,北京市发布北京市数据中心统筹发展实施方案(2021-2023年),指出关闭一批功能落后数据中心、整合一批规模分散的数据中心、改造一批高耗低效数据中心、新建一批新型计算中心和人工智能算力中心及边缘计算中心;新建云数据中心 PUE 不高于1.3等。 2020年5月, 上海市发布 上海市推进新型基础设施建设行动方案(2020-2022年) ,提出新增数据中心 PUE 不超过 1.3,建设 E 级高性能数据

30、中心。2020 年 6 月,广东省发布广东省 5G 基站和数据中心总体布局规划(2021-2025 年),提出整合提升低、小、散数据中心,推动高质量发展,加快应用先进节能技术,提升资源能源利用效率,走高效、清洁、集约、循环的绿色发展道路。092.2 技术趋势研究降低数据中心整体碳排放的相关创新技术, 需要首先对数据中心这个整体概念进行解构。从数据中心的生命周期维度分析碳排放,基本可以划分为两个阶段:第一是建设阶段,在数据中心正式投入运营之前,需要进行大量的土地作业、建筑工程以及设备调试等工作,这个阶段将会产生一部分的碳排放,而且建筑材料和相关设备在生产和回收时产生的碳排也会对总体碳排产生影响;

31、第二是运营阶段,这一阶段产生的碳排放包括由 ICT 设备工作消耗电能所产生的间接碳排放,以及备用柴油发电机等基础设施产生的直接碳排放,这一阶段碳排放的总量取决于各类设备的耗电量、可再生能源的利用比例,以及数据中心整个运行生命周期的时长。以一个 1500 柜,每柜 8kW,负载率 75%,PUE 设计值为 1.5 的数据中心为例,其 10 年生命周期碳排放约 76.3万吨,其中包含建设阶段排放约 10%,相关减碳技术主要体现在数据中心设计和建设模式上, 西部能源充足地区我国西部地区清洁能源丰富、地质条件稳定、气候环境适宜,成为大型、超大型绿色数据中心建设的理想选择地区。依靠数据中心对可再生能源的

32、消纳和西部地区干燥凉爽的气候条件带来的数据中心散热能耗下降,每年可大量降低碳排放。因此科学规划布局,可再生能源利用,高能效成为西部地区发展高质量数据中心的重点。西部地区推动数据中心绿色高质量发展的部分政策举措包括:2018 年 5 月,贵州省发布贵州省数据中心绿色化专项行动方案,提出科学规划布局数据中心,严格把关数据中心项目建设,加强产业政策引导,推动数据中心持续健康发展,新建数据中心能效值(PUE)低于 1.4。2019 年 12 月,内蒙古自治区发布内蒙古自治区人民政府关于推进数字经济发展的意见,支持大型企业数据中心建设,鼓励开展云计算、边缘计算应用,建设绿色数据中心,降低能耗水平。202

33、0 年 9 月,甘肃省发布甘肃省“上云用数赋智”行动方案(20202025 年),提出在河西走廊等可再生能源富集区,选址建设一批以清洁能源利用为特色的绿色高性能数据中心。2021 年 10 月,宁夏自治区编制全国一体化算力网络国家枢纽节点(宁夏)建设方案,提出打造“一集群三基地一数谷”的总体定位,即“全国一流绿色数据中心集群”、国家“东数西算”示范基地、网络安全暨信息技术创新开发基地、国家级数据供应链培育基地、西部数谷。并提出“十四五”期间,宁夏自治区枢纽节点规模为 72 万个机柜,服务器上架率大于 85%,平均 PUE 值小于 1.2,数据中心可再生能源使用率大于 65%,自主可控率大于 9

34、0%。第二章 |趋势洞察10“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告运营阶段 90%建设阶段 10%图1 数据中心建设与运营过程产生碳排比例而占90%的运营阶段碳排放以用电为主, 此部分的减碳技术主要体现在设备高效节能技术上。 (计算方法参考中华人民共和国生态环境部关于做好 2022 年企业温室气体排放报告管理相关重点工作的通知,全国电网排放因子为 0.5810tCO2/MWh)。因此,按数据中心生命周期的不同阶段,可以将相关绿色节能技术划分为设计建设阶段和运营阶段两类。2.2.1设计建设阶段采用的技术1. 数据中心 PUE 仿真设计技术PUE 仿真设计源于创新数字孪生理念,在设

35、计阶段,基于方案构建设备模型、系统模型,并且基于导入的运行参数和外部数据(如负载率、气候数据)来模拟系统和设备运行状态,输出重点特征值状态 PUE。采用一维热流体仿真技术对数据中心制冷系统进行物理建模,结合控制仿真技术模拟系统的控制过程,最终获取 AHU(Air Handling Unit,空气处理单元)、冷机、冷塔、水泵等制冷设备的动态和稳态状态,实现复杂热流系统的状态重现和预测。PUE 仿真设计也可以用于数据中心运营过程中系统智能 PUE 调优时的 PUE 预测仿真。11数据中心运营过程中的节能降碳技术分析,可以从电能消耗的组成部分维度切入。对于一个典型的数据中心,运营过程的电力消耗是由服

36、务器、存储和网络等 ICT 设备,空调和换热器等制冷设备、变电设备,UPS(Uninterruptible Power Supply,不间断电源)、备用发电机和电池等供配电设施以及照明、监控等其他设备所产生的。图 2 以一个 PUE=1.5 的数据中心为例,其中67% 的电力消耗来自 ICT 设备功耗,27% 来自制冷系统功耗,5% 功耗由供配电损耗和 1% 由其他设备产生。2.2.2运营阶段采用的技术第二章 |趋势洞察2. 预制模块化建设技术以全栈化的思维融合数据中心土建工程(L0)及机电工程(L1),功能区域采用全模块化设计,将结构系统、供配电系统、暖通系统、管理系统、消防系统、照明系统、

37、防雷接地、综合布线等子系统预集成于预制模块内,所有预制模块在工厂预制、预调测,并在现场同步进行地基土建建设作业。交付过程中,预制功能模块从工厂运输到站点现场,无需进行大规模土建,只需要进行简单吊装及乐高式搭建,即可完成数据中心快速建设部署,相比传统方式上线时间提前50%,有效降低建设过程中的建筑垃圾、施工用水产生,同时在生命周期结束后材料回收率高于80%,具有全生命周期低碳的优势。3. 数据中心园区叠光和叠储技术对于大部分数据中心应用场景而言,数据中心园区叠光通常适合作为市电的补充,可以有效帮助客户降低一部分的运营费用的支出。同时,随着各地峰谷电价差的逐步放大,会有效激发数据中心企业在园区建设

38、储能装置,一方面可以削峰填谷,在波谷期间用市电给储能装置充电,波峰期间使用储能装置给数据中心供电,利用峰谷电价差实现套利;另一方面可以更好的适应未来新能源占比逐步走高的供电网络,实现本地的调峰调频,有力的保障负载设备更稳定的运行。12“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告制冷系统功耗27%供配电损耗5%其它1%ICT设备功耗67%图2 一个PUE=1.5的数据中心中各组成部分所消耗的电能占比1. 制冷设备节能技术随着芯片技术与工艺的进步,服务器计算能力有了数十倍的增长,但是总体功耗也随之提升。预计到 2025 年,数据中心的 x86 CPU 芯片 TDP(Thermal Des

39、ign Power,散热设计功耗 ) 提升至350W 左右,ARM CPU 芯片的 TDP 提升至 600W 左右,而用于人工智能计算的 NPU/GPU 芯片会提升到 750W 左右。同时期对应的典型服务器 (2U 高度 2 路处理器 ) 功率也持续演进,x86 CPU 服务器会提升到 725W 左右,ARM CPU 服务器提升至 1000W 左右,用于人工智能计算的 NPU/GPU服务器会提升到 1500W 左右。基于这些预测,2025 年主流机柜功率将会达到 1215kW/ 柜,未来会继续增加到 25kW-50kW/ 柜,甚至更高,对当前的数据中心制冷技术带来极大挑战。对应的数据中心制冷设

40、备技术包括直接自然风冷却、间接蒸发冷却、冷板式液冷和浸没式液冷等,15kW/ 柜以下风冷技术可以满足大部分地区的制冷需求,出现自然冷源代替冷冻站等传统人工冷源趋势,间接蒸发冷却可以在中国大部分地区实现平均 PUE 低于 1.25 的目标。15kW/ 柜以上时风冷技术成本上升,液冷技术开始具备经济性。液冷目前最主流的方式冷板式液冷和浸没式液冷,当前主要用于高功率密度型业务如 HPC(High Performance Computing,高性能计算 ) 和人工智能计算,通常单机柜功率超过 20kW。而随着通用计算 CPU 的功率密度提升,通用计算使用的高功率密度服务器液冷技术出现规模应用的机遇。1

41、3除风冷技术和液冷技术之外,制冷设备节能技术还有很多,包括最新的氟泵、余热回收、吸附式制冷、相变蓄冷和数据密集型集群存储等创新技术,由于大多尚处于早期,且受到产业链成熟度、投资成本、运营运维成本、运维难度和适用等条件限制等原因,尚未形成规模应用。2. 供配电设备节能技术供配电设备的节能技术包括:高效 UPS,UPS 智能在线模式,电力模块等。这些节能技术已经通过互联网企业的实践逐步进入了规模化应用,助力降低供配电损耗。电力电子半导体技术出现得较晚,但发展迅速,短短几十年,已经经历了晶体管、晶闸管(SCR Silicon Control Rectifier 和GTO Gate Turn-Off

42、Thyristor)、金氧半场效晶体管(MOSFET Metal-Oxide-Semiconductor Field-Effect Transistor)、绝缘栅双极型晶体管(IGBT Insulated Gate Bipolar Transistor)几次迭代。近年宽禁带半导体材料(如 SiC 碳化硅、GaN 氮化镓)器件也开始逐步应用,每一次升级均能实现大幅的功能扩展或性提升。可以说电力电子半导体器件是按照三五年一小代、二十三十年一大代的步伐在快速迈进。可以预见,在未来数年内采用电力电子半导体器件的固态变压器的发展速度也将快于传统的变压器,采用固态变压器技术将有利于进一步降低数据中心供配电

43、系统的电力损耗,提高可靠性。3. ICT 设备节能技术ICT 设备的高效节能技术包括:全闪存化存储、全光纤化网络、无损以太网络等,都可应用于数据中心节能提效。 全闪存化存储:在相同的容量下,闪存相较于 HDD 的电力能耗降低 70%,功耗大幅降低,能够进一步压缩产生同等业务输出的总能耗,同时占用空间节约 50%。 全光纤化网络:用光纤替代传统的铜芯通信线缆可以大幅提高网络的高比特数据传输能力以及大吞吐量的交叉能力,并且传输距离更长,布线也更加灵活。随着全光网络的推进,节约了大量用于传统通信线缆中的铜、铝等金属材料,而光纤中所采用的玻璃或塑料等芯材制造过程能耗更少,尤其是这类材料耐腐蚀性能更好,

44、寿命更长,在长期角度能够减少运维产生的成本与能耗排放。 网络设备节能:采用单板级相变散热技术和毫秒级切换电源模块技术的数据中心网络交换机,能耗降低约 50% 的能耗。第二章 |趋势洞察14“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告 全无损以太网络:传统以太网络在数据传输中采取“尽力而为”的方法,是“有损”的。将计算、存储、高性能计算网络统一承载,0 丢包无损以太网络比传统以太网络最高可提高计算效率 17%,缩短整体计算时间。4. 运营运维智能化管理技术通过 AI 技术能够优化数据中心基础设施管理。如制冷系统能够通过 AI 优化自身的运行状态,也能根据 IT 业务负载需求变化进行及时

45、寻优,供电系统能够主动预测和自动识别报警,以便及时作出响应。借助 AI 技术可以最大限度实现数据中心的自动高效运行,减少由于资源调配不善或人工干预不及时而导致的资源浪费。2.3 应用趋势从实现减碳路线的举措而言,数据中心相关企业已经开发了大量创新技术来实现基础设施建设与运营过程中的高效化和低碳化,并且已经在现有或新建的数据中心中实施。下表列出了世界上主要数据中心相关企业目前采取的相关举措,基本可以代表普遍受认可的技术应用发展方向:业务类型相关主体技术方向节能降碳措施消费电子 /互联网苹果绿色能源数据中心范围内部署分布式太阳能、风能、沼气等可再生能源发电措施,以及与可再生能源电站签署长期采购协议

46、为自有数据中心等设施供电,通过一系列措施实现 100% 可再生能源利用率。自然冷源苹果在数据中心内大量采用高能效方案,例如蒸发制冷,空气侧节能器等高效冷却系统,以及对控温逻辑的优化,使苹果数据中心的制冷能效表现比美国标准高 60%。软件 /互联网微软自然冷源微软将数据中心部署在苏格兰奥克尼群岛海岸附近的海面下,利用常年寒冷的海水为数据中心散热。同时在干燥沙漠等环境中,微软计划将服务器浸入碳氟化物液体中,通过这种液体的吸热汽化与冷水换热进行制冷,从而减少对水的使用。表3 世界上主要的数据中心相关企业采取的节能应用举措15业务类型相关主体技术方向节能降碳措施ICT 基础设施/ 互联网华为自然冷源贵

47、安华为云数据中心部署在贵州贵安新区,年平均温度15, 空气质量好, 在设计上充分结合贵州自然条件的优势,充分融入了绿色低碳理念,并把自然和人文融和,通过采用自然冷却技术包括直通风制冷和部分高密度服务器就近利用湖水散热。乌兰察布华为云数据中心,年平均温度 6.6,空气质量较好,在设计上充分结合乌兰察布自然条件的优势和在 AI技术上的优势,通过采用间接蒸发式自然冷却技术,95%以上时间无需开压缩机,可以把 PUE 降至 1.15 以内,WUE 0.2L/kWh。梯次能源利用贵安华为云数据中心采用余热回收利用技术将数据中心的热量进行采集,用于办公区取暖。AI 管理贵安华为云数据中心通过把 AI 技术

48、引入到数据中心,实现智能化运维运营,可靠性提升到 99.99%,1 分钟就可以完成故障定位,提前预测隐患,人均设备维护量提升 10 倍。同时将 iCoolingAI 技术应用于制冷系统,通过深度神经网络模型进行能耗拟合及预测,并结合寻优算法,推理出最优 PUE 下的对应的系统控制参数,实现数据中心能效自动化调优,降低系统 PUE。互联网Google自然冷源谷歌的芬兰哈密那数据中心选址在寒冷的地区,100% 使用海水对相关设备进行散热。绿色能源谷歌的芬兰数据中心配备了分布式风电系统来进一步降低数据中心对电网能源的依赖。AI 管理谷歌利用 AI 算法自动管理数据中心的复杂冷却设备,每五分钟对数据中

49、心内的冷却设备进行采样,AI 模型基于采样结果来决定采取哪些措施来优化电耗,使得整套冷却设备具备自动微调的能力。高温设备谷歌在数据中心中采用能够在 27 -35的环境温度内稳定运行的高温服务器,以减少冷却设备负载和耗电量。同时关闭再热器和除湿机,以进一步节约能源。第二章 |趋势洞察16“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告业务类型相关主体技术方向节能降碳措施数据中心托管Equinix绿色能源Equinix 通过大量采购可再生能源已经实现了全球数据中心91% 的可再生能源利用率,同时也在澳大利亚、硅谷等地的数据中心采用分布式现场光伏电站,进一步减少对电网的依赖。自然冷源Equin

50、ix 计划通过四个阶段来提高冷却系统的能效,从提高系统的气密性、热交换的实时控制、引入液冷方案到优化冷源系统的容量设计,最大限度地利用环境资源,降低制冷电力消耗以及 PUE 数值。17第三章 |全新挑战在“碳达峰”和“碳中和”背景下,从数据中心相关政策、技术和应用趋势看,数据中心绿色高质量发展也面临着许多新的挑战, 可以分为单体数据中心和全国一体化大数据中心两大类别。3.1 单体数据中心面临的新挑战03全新挑战数据中心相关企业特别是互联网企业已经积极地在降低数据中心整体的耗电量与碳排放上做了许多技术尝试,但按照双碳目标要求目前的数据中心 PUE 数值依旧偏高。2021 年度全国数据中心平均 P

51、UE 为 1.49,并且有相当数量的数据中心 PUE 超过 1.8 甚至 2.0(来源 CDCC,2021)。主要原因在于随着 ICT 设备器件性能提高和单机柜功耗的增加,发热量随之上升,数据中心制冷系统的电能消耗持续增高,然而由于早期政策相对宽松,精确监管存在困难,市场应用规模有限,产业链成熟度不足,可靠性不足和 TCO(Total Cost of Ownership,总拥有成本 ) 不合理等原因,相关创新节能技术并未大规模应用。3.1.1数据中心 PUE 值偏高问题,节能新技术的应用程度有待提高长期以来数据中心建筑的建设模式方式陈旧,存在传统模式建设周期长,建筑材料碳排高,建筑工业化升级不

52、足等问题:3.1.2中国数据中心企业在建设模式上需要升级18“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告3.1.3数据中心能耗测算方法“双重失真”问题 在土建的过程中,大量的户外作业基本都采用柴汽油等初级能源供能,燃烧产物直接排放进入大气,加上建设周期往往长达 20 个月以上,漫长的建设周期加上大量的初级能源消耗产生了可观的碳排放以及其它污染。 在现有数据中心的规划之初, 很难预测到现在或未来的业务压力, 而服务器设备与供水电、冷却、运维系统等辅助设备绑定程度较高,一旦 IT 设备扩容则牵一发而动全身,将面对的是包括供电、 供水、 冷却、 基建、 网络等全方位的改造, 除了带来漫长的

53、升级周期与成本,改造过程中也会继续产生能耗和碳排放。 传统建设方式也大量采用混凝土、橡胶、岩棉夹芯板等高碳排的材料,虽然不属于数据中心建设的直接排放,但是也对降低全生命周期的总碳排放形成了障碍。因此在低碳数据中心的规划阶段,就需要将低碳材料的大规模使用纳入考量,尽量避免材料在各阶段产生的间接碳排放。按照现有行业能耗指标测算方法,数据中心产业一直被界定为高能耗产业,并受到能耗指标审批等方面严格限制,甚至有人称其为“不冒烟的钢厂”。当前通行的数据中心行业能耗指标测算方法存在两方面失真问题:一是“行业失真”,即在测算单位能耗产出时不计入数据中心运行的各类应用类产业产值,导致数据中心自身产业的整体耗能

54、测算水平被人为严重放大;二是“区域失真”,即由于数字经济的跨地域特性,相关应用类产业并不一定被统计入数据中心所在地,导致数据中心所在地实际上在被动地分摊应用类产业所在地的耗能指标压力。3.2.1数据中心发展不平衡不充分的结构性问题3.2 全国一体化大数据中心发展面临的挑战数据中心面临着区域性发展不均衡的问题,东部地区供给不足和西部地区供给过剩的结构性矛盾较为突出。当前,东部发达地区特别是北上广深等一线城市能耗指标极为受限。由于数据中心在单位 GDP 能耗及其产业带动的经济效益方面作用被严重低估,省内进行用电指标规划时,通常向其他高 GDP 产出的企业倾斜,加上从省到市层层指标分解,可预留给数据

55、中心建设的能19耗指标十分有限,难以支撑大型以上数据中心在东部地区落地。此外,受限于目前省际之间没有建立较为成熟的能耗指标跨域调配机制,西部能耗指标充裕地区和东部能耗指标严重紧张地区无法实现能耗指标的均衡配置,过剩问题和严重不足现象并存。3.2.2算力调度面临网络需要优化和资费偏高问题一方面,西部数据中心向东部提供算力服务依赖低时延,大带宽的直连网络,但跨域数据中心之间网络和数据中心集群内的网络仍待完善;另一方面给现有企业专线网络资费偏高和定价机制不利于西部数据中心向东部热点区域提供算力服务。3.2.3数据中心行业对清洁能源的开发利用还有较大提升空间一方面,我国数据中心产业在清洁能源替代认识上

56、亟待加强。为抵消数据中心能源消耗快速增长对气候环境的不良影响, 全球数据中心相关企业纷纷开始倡导使用清洁能源为数据中心供电。另一方面,目前我国特别是西部地区对清洁能源的开发利用还有很大的提升空间。据测算,由于光伏和风力等可再生能源的不稳定特点,我国西北部地区每年弃风弃光电量约 125 亿度,如果在这些地方依托电厂和电网布局就近建设大型以上数据中心,并利用储能系统和调度系统创新解决稳定负载的柔性供能问题,可以促进可再生能源开发利用,有效降低中西部地区弃风和弃光电量,进一步减少碳排放。第三章 |全新挑战20“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告4.1 推动数据中心降本增效数据中心作

57、为支撑企业业务的核心资产,其建设成本和运营质量直接关联企业的资金投入产出比。数据中心的绿色节能化趋势不仅仅是有益于社会和环境层面,对于数据中心企业而言也具备重要的意义。绿色节能化意味着数据中心基础设施的建设更加灵活,运营将更少地依赖传统电网,相关 IT 设备的能耗水平更低,自动化和智能化将体现在运营的各个环节。这些趋势都将为企业带来强大的市场竞争力,并且在长期维度上降低企业拥有数据中心的总拥有成本。具体而言,大量应用绿色节能技术可以有效降低数据中心建设中产生的排碳放、相应资金成本和时间成本,提高数据中心在规划建设阶段的灵活性。在运营过程中采用可再生能源时,数据中心的能源管理设施可以因地制宜,自

58、动协调可再生能源供应的波动,以最大限度地应对来自业务负载的压力波动,将对传统电网的依赖程度降到最低,不仅大幅降低了消耗传统电网电能而间接产生的碳排放,也减轻了企业在长期运营过程中的能源成本。此外,各类 IT 设备的算力功耗比持续提升,设备的散热等需求也能够利用创新技术来充分满足并降低成本,当采用大量此类节能增效的创新技术之后,数据中心自身能力增长足以满足日益提升的业务需求,而且能够在此基础上,减少整个数据中心基础设施在建设、运行等环节中带来的排放和产生的能源成本。尤其是当智能化的能源管理方式进入运营之后,可以大幅降低运维管理的人工干预,自动快速匹配和切换不同类型的能源供应以及储能资源,从而为业

59、务负载波动提供最优化的节能方案,从而进一步降低企业的运营管理和能耗成本。04核心价值21第四章 |核心价值4.2 促进传统产业数字化转型升级近年来,数字化转型已成为各个行业适应数字经济发展的必然选择,对于传统产业,面临着比以往更加激烈的市场竞争,数字化转型需求尤为迫切。5G、人工智能、大数据、云计算等新一代信息技术已成为数字化转型的关键要素,传统产业要充分利用新一代信息技术,实现其管理模式、业务模式、商业模式的重塑和创新。随着行业数字化转型的不断深入,对数据中心算力资源的需求急剧提升,在我国“碳达峰、碳中和”的背景下,传统数据中心已难以满足碳排放、能耗和用地指标的要求,相比之下,绿色数据中心的

60、能源效率和算力能效水平更高,在支撑产业数字化转型方面将起到不可或缺的关键作用。数据中心作为新型基础设施为能源、制造、零售、交通、建筑等传统产业的数字化转型升级提供了重要基础支撑,进而带来了生产运营效率提高、产业链延伸和商业模式变革等价值。例如,重工制造业注重产品研发能力和生产过程优化,通过应用数字化虚拟仿真平台,打造数字化、智能化车间,持续推进智能制造,提高生产效率,缩短研发周期;轻工制造业通过销售管理系统与制造管理系统对接,实现定制产品订单的生成、排产、制造和精度跟踪,高效地为客户提供定制化产品,向产业下游延伸,扩展服务环节;服装零售业在前端运用大数据分析动态掌握消费者多样、变化的服装需求,

61、在后端通过高效的数字供应链支撑愈发多元和个性化的产品结构,以“品牌 + 平台”的新型商业模式来精准满足消费者需求。4.3 助力实现全行业节能降碳首先是促进能源行业“绿色电力”转型升级。2021 年 3 月,国家能源局为全面落实“碳达峰、碳中和”战略目标和中央生态环境保护督察要求,促进清洁能源消纳,研究制定了清洁能源消纳情况综合监管工作方案。但清洁能源的消纳仍然会受到各类客观因素的制约,如远距离高压输电的技术困难及线路损耗、风光水电的季节性波动造成大量弃风弃光。绿色数据中心尤其是新建数据中心应充分考虑资源环境条件,优先在能源相对富集、气候条件良好、自然灾害较少的地区建设,加快利用水电、风电、太阳

62、能等可再生能源的步伐,促进清洁能源消纳,引领能源行业“绿色电力”转型,促进全行业节能降碳。例如青海海南州大数据产业园一期项目已经通过本地实现 100% 比例的绿色可再生能源。22“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告其次是促进上游产业加大绿色节能产品研发。近年来,上游产业积极探索和研发数据中心绿色节能技术, 已广泛应用在 ICT 设备、 制冷系统、 供配电系统等方面, 帮助数据中心自身节能降碳。在绿色节能数据中心能效标准引领下,电子信息行业加快节能技术和产品设备研发,对计算芯片、存储芯片、传感器、光电子、电力电子半导体等元器件、制冷系统和供配电系统等相关 ICT 设备和基础设施

63、的前沿节能技术进行攻关。例如在北京冬奥云数据中心部署了浸没式液冷集群,对数据设备采用了环保节能的自然冷却技术,年平均 PUE 低于 1.2,大幅度降低了碳排放量。最后是促进绿色低碳循环发展。绿色节能数据中心余热回收利用也是通过梯次综合能源利用促进全行业节能降碳重要探索方向。通过对来自数据中心的热量进行回收再利用,可以为附近住宅、医院、办公、酒店等用热单位持续供暖,替代其他用于供暖的能源。2021 年 7 月,国家发改委印发“十四五”循环经济发展规划,提出将“推进工业余压余热、废水废气废液的资源化利用,实现绿色低碳循环发展,积极推广集中供气供热”作为重点任务。据中国建筑设计研究院智能工程中心测算

64、,从数据中心总耗电量中,可大约提取回收 11.2% 电力消耗产生的余热。而以我国 2020 年数据中心耗电量 2000 亿千瓦时估算,如果这些余热被完全利用,将减少约2230 万吨二氧化碳排放。第五章 |解决思路及专项建议235.1 推动数据中心绿色高质量发展总体思路从单体数据中心和全国一体化大数据中心两个层面进行统筹思考,着力破除我国在推动数据中心绿色高质量发展面临的瓶颈和矛盾,推动实现数据中心节能降碳、优化布局、协同创新,全面支撑各行业特别是传统高耗能行业的数字化转型升级,引导数据中心走绿色节能、协同高效的发展道路。5.2 单体数据中心解决方案及专项建议单体数据中心存在 PUE 值偏高、建

65、设方式陈旧、能耗测算失真等挑战,需要采取加快创新和整合优化的发展思路,通过技术创新、专项工程和管理体系等举措引导落地。05解决思路及专项建议数据中心解决方案技术创新可分为建设模式、制冷系统节能、供配电系统节能、ICT 设备节能和 AI 应用等技术创新。着力推动技术创新规模应用,可以加速数据中心实现节能降碳目标。5.2.1解决方案“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告241. 建设模式创新1) 预制模块化数据中心预制模块化数据中心建筑主体可采用高回收率的钢结构材料,采用高度集成化设计,装配率高达 95%,满足国家 AAA 级装配式建筑要求,大幅减少施工周期碳排放。主要技术涵盖:

66、快速建设:创新性地将预制装配式建筑技术与模块化技术相融合,现场地基土建与模块工厂生产同时进行。1500 机柜数据中心建设周期仅需要 6 个月,上线交付时间相比传统模式缩短 50% 以上。 绿色建设:预制装配率高达 95%,乐高积木式搭建,现场施工量仅为传统方式的 10%,施工工程无湿法作业,施工过程无三废,施工用水和用电相比传统方式减少 80% 以上。此外,结构主体摒弃传统土建中的高污染难回收材料,采用全钢结构,主体材料可回收率 90% 以上。 垂直扩容:支持整层在线垂直扩容,随需而建避免浪费;采用垂直扩容连接组件,支持精准互锁,10 分钟快连,超强缓冲,在线业务“0”冲击;三粗一精设计,精准

67、定位;免焊接对接,快速互锁;高强抗震螺栓连接;采用超弹复合材料,中空防压溃防撕裂结构设计。 安全可靠:支持 5 层堆叠,50 年寿命,满足数据中心建筑标准交付要求,创新采用多维互联支撑架构,支持 9 烈度抗震。 土地利用率高:预制模块化数据中心层高一般在 4m 左右,同等高度限制范围内可以建设5 层,提高土地利用率 16% 以上;此外,预制模块化数据中心可以适配融合一体化电力模块及锂电,可以大幅降低配电区域的面积,减少机房占地面积。2) 数据中心园区内叠加光伏发电系统数据中心园区叠加光伏方案通常为屋顶和楼宇外立面叠光,并采取 UPS 和 HVDC(High Voltage Direct Cur

68、rent,高压直流电 ) 输入端低压接入叠光。对此应采取以下要求:第五章 |解决思路及专项建议25 设计要求:需采用效率 98.5% 以上的高效逆变器提高能源的转换效率,减少碳排放;当一串光伏板中间一个或多个故障时,需隔离故障光伏板,其他的可持续工作;逆变器需满足实时识别光伏板最高功率点,实时能效最高。 安全要求:光伏直流系统在有电弧时需要及时准确检测,确保光伏系统安全。3) 数据中心园区内叠加分散式储能系统由于数据中心业务负载的波动与光伏、风电等可再生能源产生波动的峰谷并不匹配,还需要增加适度的储能系统对波动的能源供应进行削峰填谷,从而提高可再生能源的使用比例,降低对传统火电的依赖程度。为了

69、发挥数据中心的最大经济效益和环境效益,对能源管理设施进一步进行整合和优化,不间断电源系统 ( 含备电储能 ) 需要与新型储能系统融合。数据中心是典型的不间断电源场景,不间断电源 UPS 功率是用电容量的 1.21.5 倍,数据中心应整合现有 UPS、备电储能和削峰填谷储能,实现备电储能和削峰填谷储能合一,不间断电源 UPS 和储能变流器 PCS(Power Conversion System) 合一,提升供电效率 2%5%,降低数据中心基础设施投资 5%10%。技术方案如下图。当前供电系统削峰填谷储能与UPS及备电系统分离未来供电超融合架构10kV电网10kV电网10kV配电超融合10kV U

70、PS变压器变压器变压器变压器PCS新型储能储能+备电380V低压配电低压配电UPS系统智能锂电备电服务器机柜服务器机柜图3 数据中心当前供电系统和未来供电超融合架构示意图“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告262. 制冷系统节能技术创新数据中心根据 PUE 目标、地域条件、技术和产业链成熟度,可选用直接自然风冷却、间接蒸发冷却、板级液冷和浸没式液冷等创新技术或两种技术混合应用达到最佳 TCO。采用过低的 PUE 架构会导致投资成本和运维成本增加。通过对比不同地理环境条件下风冷和液冷两种制冷方式的 IT 设备和冷源和制冷设备的造价,使用过程的电费和运营维护成本,并经过国内大型数

71、据中心实践验证经验认为,单机柜 15kW 以上采用冷板式液冷可以获得更好的整体性价比,PUE 保持 1.21.25 范围节省制冷能耗的同时,也能带来更低的 TCO。图4 制冷系统节能技术对比直接自然风冷却间接蒸发冷却冷板式液冷浸没式液冷 对空气质量要求高 IT设备需耐受高温高湿进风 充分利用自然冷源,按需制冷 结构简单,可靠性高 换热效率高,适用于高密场景 成本适中、易维护 成本高,投资回报周期长 器件兼容性差 运维复杂度高1) 间接蒸发冷却技术间接蒸发冷产品是新型制冷方式设备,其采用间接换热技术,最大程度利用自然冷源替代人工冷源,降低数据中心 PUE。工作原理如下:间接蒸发冷却机组为整体式,

72、在数据中心现场安装风管、水管及配电后即可投入使用,机组有三种运行模式: 干模式:仅风机运行,完全采用自然冷却; 湿模式:风机和喷淋水泵运行,利用喷淋冷却后的空气换热; 混合模式:风机、喷淋水泵、压缩机同时运行。第五章 |解决思路及专项建议27三种运行模式可以结合气象参数和机组自身的特性曲线,结合智能控制,进行寻优调节,达到节能的目的。利用间接蒸发冷却技术可实现广东地区数据中心制冷年均 PUE 低至 1.25。技术要求: 间接蒸发冷却设备应以一台为单位,结合数据中心制冷空调输配配套的间接蒸发冷却换热器芯体、风机(包含间接蒸发冷却空调的一、二次风机)、控制柜等电气设施,集成在集装箱内; 集成化蒸发

73、冷却空调设备其箱体内部高温冷水管路、产出空气风道应布置合理恰当,并且做好管路保温; 集成化蒸发冷却空调设备应尽可能的将能放入集成箱体内的相关设备部件组装进箱体,尽量减少设备现场安装作业任务量,以提高设备交付、投用速率。2) 冷板式液冷技术冷板式液冷技术,即利用液体工质作为中间热量传输的媒介,将热量由热区传递到远处再进行冷却。在该技术中,液体工质与被冷却对象分离,液体工质不与电子器件直接接触,而是通过液冷板等高效热传导部件将被冷却对象的热量传递到冷媒中,因此冷板式液冷技术又称为间接液冷技术。该技术将液体工质直接导向热源,由于液体比空气的比热大,每单位体积所传输的热量即散热效率高达 1000 倍,

74、因此制冷效率远高于风冷散热。该技术可有效解决高功率密度服务器的散热问题,降低冷却系统能耗而且降低噪声。图5 间接蒸发制冷原理图“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告28最高出水温度:35最高出水温度:20冷却塔冷水机组液冷管理单元行级空调全液冷机柜数据中心机房冷却基础设施最高进水温度:45冷板式液冷在实施部署上有明显优势,具体体现在 4 个方面: 兼容性好:主板、硬盘、连接器材都不需要定制化生产,设备采购成本较低; 机房适配要求低:普通机房承重可以满足部署条件,无需特殊加固,液冷工质不会形成排氧效应,对通风要求与常规机房一致,传统机房可快速改造; 可维护性好:IT 设备、液冷管

75、路和机柜歧管间连接器支持盲插,易于维护; 产业链成熟:冷却塔、水泵、CDU(Coolant Distribution Unit,冷量分配单元)和冷水机组等配套设备、液冷整机机柜、服务器液冷冷板、连接器、液冷工质均规模国产化,国内成熟可靠供应商较多,选择范围大。3) 氟泵技术氟泵技术,是以泵驱动氟利昂工质,克服系统阻力实现制冷循环的一种自然冷却技术。因为氟泵中所用的工质为制冷剂(冷媒),因此氟泵亦被称为制冷剂泵或冷媒泵。工作原理如下:氟泵技术的核心是利用自然冷源,其应用与数据中心对制冷的特殊需求场景密切相关。与传统的楼宇不同,数据中心在冬季或过渡季节依然会产生大量的热量,此时采用氟泵系统代替传统

76、的压缩机机械制冷系统进行制冷,可以有效的节能降耗,实现碳排放的减少。搭载氟泵技术的制冷循环系统在室外低温工况能达到节能效果的主要原因在于:室外低温工况时,系统不需要压缩机压缩气态制冷剂来达到所需的冷凝压力,采用氟泵就可克服系统阻力,图6 冷板式液冷解决方案第五章 |解决思路及专项建议29驱动整个制冷循环。由于制冷剂液体体积远小于(或者说密度远大于)制冷剂气体,此时氟泵对液态制冷剂做功远小于相同工况下压缩机对气态制冷剂做功,即驱动相同流量的制冷剂,氟泵的功率远小于压缩机,从而达到节能效果。在过渡季节,采用氟泵技术的混合模式系统实现节能的原因是因为氟泵提升了冷凝器后的液态制冷剂压力,从而在相同的电

77、子膨胀阀开度的情况下,提升蒸发压力,减少压缩机做功,从而达到节能效果。氟泵技术的节能效果主要体现在,室外低温或过渡季节时为系统提供相同制冷量所需的功率远小于压缩机。在文献 1基于氟泵增压的机房空调系统性能实验研究中指出搭载氟泵的系统在 -525的混合模式下输出 100% 冷量,制热能效比 COP(Coefficient of Performance,性能系数)可达 3.966.25。在室外 -5的纯氟泵模式下,输出 100% 的额定制冷量时,COP 可达 1920,远高于在相同工况下 COP 为 7 的纯压缩机系统。从氟泵系统的实际应用情况来看,其相较于传统的压缩机机械制冷的节能减排效果也非常

78、明显。单机的机械制冷系统上应用氟泵技术后,在低温工况下能效可提升 36 倍。氟泵的节能效果与可利用的自然冷源的时长密切相关,如果以年为时间单位分析,不同的地域可达到约 5%40%的节能率。4) 余热回收技术北方寒冷地区数据中心使用热泵机组来对数据中心冷冻水余热进行二次提温后输送到热管网替代市政供热,用于寒冷季节居民采暖和办公采暖,对数据中心产生的废热进行梯次利用,从而提升能源综合利用效率,是实现碳中和的有效路径之一。余热回收技术原理如图 7 所示。数据中心冷冻水末端空调供水温度为 1015,回水温度为1525,数据中心出来的温水通过电驱动热泵机组加热为采暖系统 55热水,传递给就近区域采暖管网

79、,然后热水分发到社区或就近的数据中心办公区。“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告30热泵在取暖运行阶段只需要提取 1/101/5 的热量即可满足就近的居民和办公采暖需求,余热回收在部分北方寒冷且电费较低地区具备运营经济性,56 年可回收投资,同时打破用能体系边界,实现多领域能源耦合梯次利用,发挥能效潜力,多方利用余热,将余热转换为可再生能源。图7 余热回收技术原理热泵居民采暖办公采暖冷冻水空调末端板换数据中心温水热水55温水1525冷水1015冷水次热水453. 高效率供配电技术创新1) 高效 UPSUPS 的效率是指在储能装置没有明显的能量输入和输出条件下,输出有功功率与输

80、入有功功率之比。高效 UPS 是指利用各种节能技术实现双变换效率最大可达到 97%(R 载)的不间断电源产品。通过降低器件损耗、优化 UPS 的拓扑结构、降低系统损耗等技术,实现双变换效率最大可达到 97%(R 载)的超高效 UPS,可以有效降低供配电系统的能耗和碳排放。此外,利用模块化UPS 可以按需扩容、模块冗余、智能休眠等优点,可以实现低载高效,更加匹配真实业务分期分批上线的运行要求。2) UPS 智能在线模式UPS 智能在线模式,是指在满足 GB/T 7260.3(IEC62040-3)中规定电网输入条件下,UPS优先工作在 VFD/VI 模式 (Voltage Frequency D

81、ependent/Voltage Independent),当电网条件不满足标准规定的电网输入条件下,UPS 可以从 VFD/VI 模式 0ms 切换至 VFI 模式。Voltage and Frequency Independent)。其中,VFI、VFD、VI 三种工作模式的功率流向详见图 8 三种 UPS工作模式。第五章 |解决思路及专项建议31图8 三种UPS工作模式通过智能在线模式可以在保障系统供电安全前提下实现更高的运行效率,帮助用户进一步节能减排。智能在线模式在负载率 30% 时,VFD 模式下 UPS 效率不低于 98.5%(R 载);与传统的 ECO 模式需要 4-20ms

82、的切换时间不同,智能在线模式可实现 UPS 在 VFI、VFD、VI 模式之间切换时间为 0ms,保障负载供电的可靠性;VI 模式下,可通过逆变器进行谐波补偿及输出功率因数校正,保证旁路输入 PF(功率因数)值不小于 0.95、THDi(Total Harmonic Distortion,电流谐波畸变总数)不高于 5%。3) 电力模块技术电力模块,是一种包含变压器、低压配电柜、无功补偿、UPS 及馈线柜、柜间铜排和监控系统的一体化集成、安全可靠的全新一代供配电产品,其输入为“三相无中线 +PE(Protective Earthing,保护性接地)”的 10kV、50Hz 的交流电源,输出为 3

83、80V“三相四线 +PE”交流输出。通过将变压器、低压配电柜、无功补偿、UPS 及馈线柜和监控系统融合在一起,电力模块能减少柜位数,并极大的减短柜间铜导体的连接长度,减少铜导体使用量,减少供配电间占用面积,进而减少损耗,显著提升系统效率,节能减排效果明显。图9 电力模块示意图变压器进线母联柜UPS600k*4维修旁路柜模块化馈线柜 *3SVG 柜STSAC/DCDC/ACVFI ModeVFD ModeVI ModeDC/DCSTSAC/DCDC/ACDC/DCSTSAC/DCDC/ACDC/DC0ms transferElectronicsSwitchElectronicsSwitchEle

84、ctronicsSwitchHot backupZero currentcompensation“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告324. ICT 设备节能技术创新1) 全闪存存储闪存介质有高密度、高可靠、低延迟、低能耗等特点。存储介质全闪存化,即逐步提升数据中心存储介质闪存化比例,建议近期从 2021 年的 24% 提高到 2025 年的 50%,长期到 2030 年达到 90%,远期最终实现 100% 全闪存存储,加速数据中心向“硅进磁退”方向演进。随着全闪存存储的快速发展,基于闪存介质的固态硬盘数据访问比机械硬盘快 100 倍左右,吞吐量大 100 倍,单盘的 IOP

85、S 大 1000 倍以上,电力消耗减少 70%。随着存储通信协议的发展,把存储介质变化的效率和网络带宽提升的作用充分发挥,这些变化促使了计算机系统处理能力的大幅提升,优化了数据中心算力与存力的基础能力结构,加速了数据资源的快速流通。2) 存算分离架构受限于散热和空间限制,普通的通用型服务器配备硬盘的数量有限,通常为 1U10 盘、2U24 盘、4U36 盘。而专门设计的高密存储型节点,能做到 1U32 盘、2U36 盘、5U80 盘、4U80 盘、5U120 盘,密度达到传统存储服务器的 22.6 倍,结合存算分离架构,相对使用通用型服务器,减少了节点 CPU、内存及配套交换机,同等容量下带来

86、能耗节约 10%30%。在大数据分析场景,采用存算分离架构后,还可以利用数据纠删码(Erasure Code,EC)技术替代三副本数据,进一步把磁盘利用率从 33% 提升到 91%,减少磁盘空间占用,节约能耗。3) 数据重删压缩数据重删技术是通过利用定长重删、变长重删、相似重删算法来检查数据块,然后把相同数据删除的技术。数据压缩、压紧技术是通过数据压缩、压紧算法把定长的数据块优化数据存储布局,节约存储空间。借助闪存介质带来的 100 倍性能提升,利用数据重删压缩技术,目前业界已经能够在数据库、桌面云、虚拟机等业务场景实现 23.6 倍的数据缩减率(重删压缩前数据总量 / 重删压缩后数据总量),

87、相当于同样的存储空间能够储存 23.6 倍的数据,耗能节约 50% 以上。第五章 |解决思路及专项建议334) 网络设备节能网络设备支持自动检测设备状态、单板状态、端口状态和光模块状态等信息,自动关闭不需要的器件和端口供电,智能调整芯片电压及风扇转速等手段降低网络设备能耗。基于 VC 相变散热和碳纳米导热单板级相变散热技术散热效率最高提升 4 倍,温度最多降低 19,采用基于混流风扇的整机散热技术,可以提高 3 倍风量,减少 49% 电力消耗,SuperPower 技术如基于磁吹灭弧技术的毫秒级切换智能电源模块,实现每比特功耗相比业界降低 54%。5) 无损数据中心网络无损数据中心网络是算力提

88、升方向之一。从目前业界普遍认可的算力计算模型分析,受到通用计算能力、高性能计算能力、存储能力和网络能力的综合影响,如果网络存在大量数据丢包和数据重传,将会影响整体计算能力的提升。无损数据中心网络通过引入 AI 人工智能技术,如 iLossless-DCN 系列算法,智能控制调优技术,实现网络在极高吞吐下低时延 0 丢包,规模不变,算力能效比提升,降低综合能耗。据实测场景数据分析:在数据存储场景 IOPS 提升可以达到 10%33%、时延降低 25%;在 AI 场景通过无损技术突破 HASH 不均难题,有效吞吐提升到 90%,单任务训练效率最大提升20%;在某流体力学应用实际测试中,完成同样任务

89、,传统网络需要 375 秒,0 丢包以太网需要耗时 198 秒。折算到单位算力功耗,0 丢包以太网单位算力能耗相比传统网络最多降低 47%。5. AI 应用技术创新在数据中心投入运营之后,由于能源与热管理方面的节能技术创新,可以大大降低消耗电能所间接产生的碳排放,但是能源系统的复杂化也成为了新的问题,AI 算法所支持的智能运维管理和能耗优化似乎成为了最佳的答案。面对多变量,高复杂度的系统,以及难以预测的业务,AI 算法可以实现多系统的联动管理,在保障业务正常运行的前提下,将数据中心的“绿色”程度推向极致。图10 算力计算模型算力 = f ( 通用算力,高性能算力, 存储能力,网络能力 )“碳达

90、峰、碳中和”背景下数据中心绿色高质量发展研究报告341) 系统联动 AI 能效优化将基于系统联动 AI 能效优化技术的智能热管理解决方案融入数据中心基础设施,针对数据中心制冷效率提升瓶颈,通过深度学习,打通精密空调末端、冷水机组、冷却塔、水泵等制冷系统以及 IT 负载、环境变量等大数据之间的联动,并对大量的历史数据进行分析,探索影响能耗的关键因素,最终获得 PUE 的预测模型。利用寻优算法获取调优参数组,下发到控制系统,实现对制冷系统的最优控制。最终通过不断调整优化,获得最佳能源利用效率。系统联动 AI 能效优化技术可帮助智能热管理解决方案实现PUE降低8%15%, 为大型数据中心每年节约电费

91、数百万人民币。图11 系统联动AI能效优化25/3735Hz系统参数寻优频率、进出水温度、进出风温度冷量寻优最佳冷量、最优比例动态仿真保障推理结果正确性环境参数AIIT设备运行数据制冷系统工况自然冷却电制冷2) AI 智能运营运维技术通过利用 AI 智能运营运维技术对数据中心资产管理、电力模块预测性维护和电池失效及寿命管理,可显著提升运营运维效率。 利用 AI 技术对数据中心的资产进行智能管理。数据中心基础设施管理系统需要对资产进行盘查,保证设备的完整性和保护重要数据。另外,还可以对数据中心资产匹配最适宜的供电、制冷、空间、带宽等资源,实现资源的最佳利用。利用 AI 智能运营运维技术对资产上下

92、架和运营进行智能化的协助管理,提升运营效率和效益。 利用 AI 技术对电力模块管理进行预测性维护。通过 AI 技术实现预测性维护和供电全链路监测, 可实现毫秒级的故障检测, 毫秒级的故障隔离, 分钟级的故障恢复。 可消除火灾隐患,大大提高数据中心能源基础设施可靠性和可用性。 利用 AI 技术对电池管理进行主动性维护。通过 AI 技术不仅可以预防电池失效,也可以精确预测电池的寿命和健康度,为用户提前提供维护决策依据,及时排除有失效隐患的电池组,变事后补救为事前预防,变被动响应为主动维护,大大提高数据中心供配电安全等级。第五章 |解决思路及专项建议356. 制冷和供配电系统技术创新未来展望1) 吸

93、附式制冷技术吸附式制冷实现废热回收再利用,回收计算设备产生的热量,将其转换为成冷量,用于存储设备、网络设备或办公室制冷。吸附式冷机的动作温度不小于 50C 热回收率不小于 30%,回收的热量用于制冷,从而降低制冷的总能耗。吸附式制冷结合数据中心的业务调度与计算负载感知协同,确保吸附式制冷机热端进水温度不小于 50C,实现稳定制冷。小型化吸附式冷机应当持续提升功率密度,逐渐从业界 3kW/m 的水平优化至 10kW/m 以上,从而减少占地面积。以液冷负载为 1000kW 的数据中心为例,在 80% 负载率下, 对800kW的散热量进行热回收, 假设其回收效率为30%, 那么可以回收产生240kW

94、的冷量,按照与传统机械制冷相比对应节省 60kW 左右的制冷功耗,相当于节能 60/1000=6%。在超大规模高性能计算集群或者机柜功率密度大于 150kW 的业务场景下,对于采用冷板液冷且液冷占比大于90%时, 可以采用吸附式制冷技术进行废热回收利用。 吸附式制冷模块化设计,可按计算、网络和存储的设备配比一次性集成交付。图12 吸附式制冷技术原理冷却塔水泵CDU计算柜50 吸附式冷机补冷末端(IT漏热+网存)存储柜网络柜“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告362) 数据中心浸没式液冷技术数据中心浸没式液冷技术根据冷却液换热过程中是否发生相变可分为单相浸没式液冷与两相浸没式液

95、冷,两种技术在原理上略有不同。单相浸没式液冷的技术原理如图 13 所示。服务器被完全浸没在绝缘冷却液中,冷却液带走服务器产生的热量后,通过循环将热量传递给换热器中的二次侧冷媒(通常是水)。二次侧冷媒吸收热量后通过循环再将热量传递给室外冷却设备,至此完成由服务器向室外环境的热量传递。图13 单相浸没式液冷技术原理单相浸没式液冷机柜一次侧循环泵二次侧循环泵换热器室外冷却设备服务器服务器服务器服务器冷却液高温管道低温管道两相浸没式液冷的技术原理如图 14 所示。服务器被完全浸没在绝缘冷却液中,服务器产生的热量会引起冷却液局部沸腾, 在这一沸腾过程中冷却液变为气相工质并带走服务器产生的热量。气相工质不

96、断上升,在遇到冷凝器后将热量传递给冷凝器中的水,变为液滴回到液冷机柜中。水吸收热量后通过循环将热量传递给室外冷却设备,至此完成由服务器向室外环境的热量传递。图14 两相浸没式液冷技术原理两相浸没式液冷机柜循环泵冷凝器气相区室外冷却设备高温管道低温管道服务器服务器服务器服务器液相区第五章 |解决思路及专项建议37数据中心浸没式液冷技术的能耗主要由促使液体循环的泵和室外冷却设备产生。其中,两相浸没式的冷却液循环是无源的,因此两相浸没液冷的能耗一般要低于单相浸没液冷。由于浸没式液冷的室外侧通常是高温水,其室外冷却设备往往可以利用自然冷源且不受选址区域的限制,从而起到节能减排的目的。浸没式液冷技术产业

97、链成熟度较低,在换热性能、成本、稳定性等方面需要持续创新发展。3) 数据密集型集群存储数据密集型集群存储是面向中大型绿色节能数据中心打造的以 DPU 为中心的存算网融合一体化整柜液冷解决方案。对比传统数据存储架构,采用了高密存储、大比例 EC、存算分离、DPU 卸载、数据处理加速、数据高缩减和存储液冷等创新技术,保障数据中心空间、功耗、制冷和运维等各环节综合成本的大幅度降低,提升数据中心交付效率,缩短上线周期,数据中心资源利用率提升 50%,空间占用下降 50%。数据密集型集群存储原生集成全局数据管理和全局文件系统能力,提供虚拟化、云计算、大数据、 HPDA (High Performance

98、 Data Analytics, 高性能数据分析) 等场景下跨域海量数据传输、高通量数据处理和高密度低成本数据存储的能力。同时,提供南北向标准的 API 接口,实现数据基础设施与异构多云连接与融合,通过一池对接多云,避免多云导致的数据存储管理孤岛问题,实现跨数据中心统一融合存储资源池。 数据密集型集群存储支持跨域热温冷数据自动分级和流动,跨域数据要素流通过程中更高效、更绿色执行数据调度和智能流动,实现东数西算和东数西存数据流动网络目标架构。 4) 固态变压器固态变压器(Solid State Transformer,SST)是一种通过电力电子技术实现能量传递和电力变换的新型变压器,本质是通过电

99、力电子器件将电能高频化,以减小变压器体积和成本,同时实现了能量的交流直流可控。并且通过减少变换层级降低系统的复杂度,提升系统效率。固态变压器依靠电力电子变换器将能量高频化,频率普遍达到 5kHz 以上。固态变压器中大部分部件为电力电子器件,因此固态变压器主要依托的是电力电子半导体技术。但受限于电力电“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告381. 建议加快数据中心集群节能和绿色化改造推动绿色数据中心建设,鼓励数据中心运营方加强内部能耗数据监测和管理,鼓励预制化、装配式建筑, 高效供配电及制冷技术如电力模块、 间接蒸发冷却等技术的应用, 提高能源利用效率;鼓励各地区结合国家统筹布局

100、导向,探索优化能耗政策 ; 加强数据中心能耗指标统筹分配,在区域范围内开展跨省能耗和效益分担共享合作。2. 建议优化可再生能源和数据中心协同布局鼓励在数据中心集群周边配套建设可再生能源电厂,协同做好数据中心集群建设及可再生能源基地建设工作 ; 引导可再生能源就近消纳,提高电力保障能力 ; 优先开发当地分散式和分布式可再生能源资源,大力推进分布式可再生电力在用户侧直接就近利用,结合储能、氢能等新技术,提升可再生能源在数据中心能源供应中的比重 ; 强化风电、光伏等可再生能源供需引导,鼓励依托国家枢纽节点数据中心集群试点推动可再生能源市场化交易。3. 建议启动数据中心碳排放情况摸底普查工作设立专职普

101、查员负责定期调查、上报与核查数据中心碳排放情况,调查对象包括辖区内已建、在建的各类数据中心,调查内容包括已建机架数量、上架率、单机架功率、电能使用效率、碳使用效率、可再生能源利用率等。5.2.2专项建议子水平,当前各高校和企业研制的固态变压器,无论是成本、占地、效率和可靠性,都低于工频变压器。虽然当前的固态变压器在经济性上还无法替代工频变压器,但随着电力电子技术的进一步发展和新型半导体材料的逐步成熟, 固态变压器将成为大型数据中心节能降耗的一个重要路径。第五章 |解决思路及专项建议394. 建议建立科学合理的数据中心碳排放监测预警指标体系对数据中心碳排放监测要求进行深入调研与分析,充分运用大数

102、据技术,基于统计和非统计手段相结合的方法构建数据中心碳排放监测预警指标体系,包括碳排放总量指标、碳排放强度指标、碳排放交易指标等,常态化系统化指标化监测数据中心碳排放情况,及时准确地识别风险点、异常点,为碳排放监管和数据中心整改提供量化数据参考。5. 建议加快对小散数据中心分区分类改造结合数据中心功能定位和算力需求情况,有序关闭腾退单机架功率过低或平均上架率过低、规模过小、设备过旧、效益过差、功能落后的小散数据中心。引导将算力需求旺盛地区的中小型数据中心升级改造成边缘数据中心,有效支撑自动驾驶、远程医疗等极低时延业务需求。5.3 全国一体化大数据中心解决方案及专项建议我国数据中心存在总体布局失

103、衡、网络资费偏高、可再生能源开发利用率不高、转型升级不足等瓶颈,需要采取优化结构、双网协同和全面赋能的发展思路,建议加速创新解决方案,制定配套机制体系和培育产业生态等。1. 构建互联互通的枢纽算力调度平台,探索跨域跨云跨网协同一体化算力服务体系东西部算力网络枢纽节点建设的枢纽算力调度平台,需要与云网协同平台、多云管理和多数据中心网络控制器协同,建议通过统一的接口标准和规范来实现以下互通和协同能力: 基于统一接口标准和规范实现多云互联互通、跨多云服务资源申请; 建设跨域直连网络,打造枢纽区域数据中心集群网络,实现不同企业的数据中心的网络高速互通; 通过统一接口标准和规范实现云网协同管理,实现网络

104、服务化;5.3.1解决方案“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告40多云互联互通西部枢纽算力调度平台边缘数据中心边缘数据中心边缘数据中心边缘数据中心边缘数据中心边缘数据中心边缘数据中心边缘数据中心政务云数据中心公有云数据中心行业云数据中心东部枢纽算力调度平台政务云数据中心公有云数据中心行业云数据中心云边协同跨域直连网络跨域数据跨域网络协同区域集群网络区域集群网络云网协同多云互联互通云网协同OTN国家一体化算力服务运营商城域网运营商城域网云边协同西部企业CPE西部企业CPE西部企业CPE东部企业CPE东部企业CPE东部企业CPE图15 互联互通的枢纽算力调度平台构想2. 探索“源

105、 - 网 - 荷 - 储”协同方案,可再生能源柔性可靠供能数据中心可再生能源电能存在较大幅度的波动,而数据中心业务负载也时时刻刻发生着变化,随之产生的供电需求与散热需求都将产生一定的波动,而这些波动之间并不相互吻合。如何才能在多变量的复杂能源系统中保障数据中心的业务运转,并最大限度地发挥可再生能源减碳的效果成为了解决问题的关键。我国可再生能源呈现更大规模和更快发展的态势,光伏和风力电厂作为电力来源,输电网络和配电网络作为电力网络,数据中心作为用电负荷,以及在可再生能源电厂、变电站和数据中心建设的储能系统,四者之间的关系变得更加复杂。加强“源 - 网 - 荷 - 储”多向互动,聚合分布式光伏、储

106、能系统等负荷侧资源参与调节。通过大数据分析,建模和 AI 算法分析,探索电力网络调度系统和算力调度系统“源 - 网 - 荷 - 储”协同方案,实现柔性负载调控,提升可再生能源消纳水平,同时保障数据中心可靠供电。 云数据中心和边缘数据中心协同,满足超低时延近场和现场业务的需求; 枢纽算力调度平台满足枢纽内算力服务资源可视、可管和数据安全要求,并支撑算力服务资源共享和服务交易落地; 通过统一接口标准和规范实现跨区域枢纽算力调度平台互通,满足跨域数据流通的顺畅和安全,进一步支撑全国一体化算力服务体系。第五章 |解决思路及专项建议41图16 “源-网-荷-储”协同方案构想源(电厂)+ 储网荷(数据中心

107、)+ 储智能光伏控制器大电流组件+跟踪支架箱变(800V/35kV)箱变(800V/35kV)箱变(800V/35kV)智能组串式储能系统 智能储能控制器220kV升压站220kV升压站大容量风机箱变(690V/35kV)IT机柜变压器10kV/0.4KV电力模块智能组串式储能系统 智能储能控制器变电站A(市电)变电站B(市电)绿电专线变压器10kV/0.4KVDG电力模块园区变电站(220kV)园区变电站(220kV)10kV中压配电10kV中压配电AHU智能锂电电力网络调度算力调度5.3.2专项建议1. 建议进一步优化绿色数据中心算力服务加快推动绿色数据中心云化,加快建立完善云资源接入和一

108、体化调度机制,以云服务方式提供算力资源,降低算力使用成本和门槛,打造数据中心算力资源统一调度和能耗智能监测平台,实现全国及区域内数据中心算力资源最大化利用;通过政企合作,面向社会提供低成本、广覆盖、可靠安全的算力服务,支撑传统行业数字化转型和节本降耗。整合数据中心云服务供应链优势资源,培育“第四方云服务”产业发展,推动建立全国一体化公共云服务体系。2. 建议加快推动西部地区数据中心产业转型升级通过创新市场机制,吸引东部地区企业在西部建设数据中心,支持西部地区数据中心集群从“东数西存”模式向“东数西算”模式转型升级,鼓励西部地区依托数据中心集群就地发展数据加工、数据清洗、数据内容服务等偏劳动密集

109、型产业,将“瓦特”产业转化为“比特”产业,实现产业跨越升级,有效拉动就业;鼓励东西部地区打破行政区划界限,创新跨区域数据中心建设运营合作模式,探索政府引导、企业参与、优势互补、资源共建、利益共享、人才互通的“飞地经济”合作新机制。“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告423. 建议探索电力网与数据网协同发展布局鼓励电网公司以参股、并购等多种方式,实质性参与西部北部地区数据中心集群建设,统筹电力网和数据网两张网协同布局,探索通过错峰供电、负载协同等方式降低数据中心用电成本及碳排放量;鼓励西部北部等有条件的地区综合考虑可再生能源和电网布局选址,就近建设数据中心集群,更多开发和利用风

110、能发电、光伏发电和水力发电等可再生能源,减少碳排放的同时进一步降低弃风、弃光、弃水电量。4. 建议推动建设东西部算力资源和数据中心碳排放交易结算体系围绕国家算力网络枢纽节点,在西部气候适宜、资源富集的区域选址建设国家算力资源交易中心,建立以“算力券”为核心的跨区域数据中心算力资源、运营成本、经济效益统筹分担结算的市场化交易机制;探索开展数据中心能耗指标交易和拍卖试点,研究建立跨区域数据中心碳排放阶梯补偿机制,助力实现数据中心能耗指标跨区域调剂和算力供需有机对接。5. 建议加强对高耗能领域企业自建数据中心改造升级对于人工智能、工业互联网、远程医疗等时延要求高而必须企业自行部署的数据中心,积极推进

111、降能减排工作,不断采用新技术、新工艺,降低 PUE 和 CUE 值(Carbon Use Efficiency,碳利用效率);鼓励大型、超大型企业发挥行业引领作用,依托自建数据中心打造行业级数据中心,为行业内企业数字化转型提供便利;对于能耗水平较高、改造成本较大的数据中心,鼓励相关业务逐步向第三方绿色数据中心迁移;对于行业特性明显、个性化要求较高的业务,鼓励企业依托本行业公共数据中心,采购算力资源服务。6. 建议创新能源利用机制推动高耗能产业数据中心用能权交易,通过引入市场化机制,鼓励用能权有偿使用,促进企业节能减排、转型升级,推动绿色发展。推动将高耗能产业数据中心纳入数据中心统计指标体系,打

112、造在线监测系统,提升智慧能效管理水平,限制高耗能行业企业新建数据中心。依托国家“上云用数赋智”行动,大力推动高耗能企业数字化改造,鼓励高耗能企业借助工业云等技术完善物流联通、边缘计算和内部运营,在企业生产的材料溯源、质量控制等环节实现节本降耗。43越来越多的政府和企业正在制定绿色目标与路线图,以在未来的数十年中实现碳中和或零碳排放。数据中心作为高科技行业的代表,也走上了绿色高质量发展的道路。通过一系列能效提升以及节约能耗的技术手段,数据中心在创造大量社会价值的同时,减少自身对高碳排能源的依赖,提高了能源的利用效率,在不影响业务发挥的前提下,使整体二氧化碳排放的负面环境效应降到最低。同时全国一体

113、化的数据中心产业布局优化也从更高层次弥合了区域能源供需的失衡矛盾,使数据中心的绿色产业布局更加合理化,为相关节能降碳技术创造巨大的发挥空间。这些促进数据中心绿色高质量发展的举措不仅有着合理的社会责任理由,也同样具备充分的商业理由。不仅为数据中心所有者降低了能源相关成本,优化数据中心漫长运行周期中的营运支出。同时,这些降碳举措能够改善企业的社会形象,从而在市场上获得更好的口碑与竞争实力。数据中心绿色高质量发展具有社会层面的引领和表率作用。不仅会使高能耗产业快速转变发展方式,加快千行百业的数字化转型过程,实现快速节能降碳,同时,数据中心实现双碳目标时采用的一系列先进技术和思路,为其他行业带来启发。

114、通过技术迁移,这些思路可以帮助其他高耗能行业,包括农业、物流、采矿和制造等领域实现碳排放的减少,使这些行业在实现数字化转型的同时,加速向碳中和转型的步伐,从而实现数据中心绿色高质量发展,发挥更大的社会价值。06结 束 语结束语44“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告07附录:绿色节能数据中心优秀实践贵安华为云数据中心是华为云全球规模最大的数据中心,可容纳 100 万台服务器,提供 3AZ(Availability Zone,可用区)服务。贵安数据中心不仅仅是华为云的数据中心,同时是华为的运维中心、培训中心和文档中心。一期七星湖项目占地 101.4 万平方米,建筑面积 48 万

115、平方米,IT 设备区域面积 24 万平方米,可安装 30 万台服务器,主要承载华为云业务、公司流程 IT 和消费者云业务。贵州省贵安华为云数据中心,综合利用自然条件和先进节能技术打造极致高能效基础设施西部区域数据中心重点关注集约化和绿色化45贵安华为云数据中心在设计上充分结合贵州自然条件的优势和 AI 技术上的优势,使能数据中心实现绿色和智能的优异特性:首先是绿色低碳。贵州年平均温度 15 度,空气质量好,非常适合建数据中心,通过采用自然冷却技术可以把能效比降到1.12, 100万台服务器每年可以节省10亿度电, 处于业界领先水平。整个数据中心设计充分融入了绿色低碳理念,并把自然和人文融合到景

116、观设计中。数据中心通过直通风方案制冷,减少了空调能耗。通过人工湖水循环系统,将处理后的湖水输送到数据中心进行间接换热,带走服务器热量,换热后温度升高的热水再排入瀑布顶端水池,通过瀑布跌落至湖面自然蒸发,将热水冷却下来,再循环利用。此外还采用余热回收技术,将部分数据中心服务器的发热进行回收利用,制备成热水供生活、冬季公寓供暖和康体中心恒温游泳池使用。其次是智能化运维运营。通过把 AI 技术引入到数据中心,实现可视化和智能化运维运营,可靠性提升到 99.99%。传统数据中心出现故障,人工定位需要 30 分钟以上,借助 AI 技术,1分钟就可以完成故障定位。附录:绿色节能数据中心优秀实践更为重要的是

117、,通过海量设备数据的分析处理,能提前发现故障隐患,从过去的“救火”变为现在“防火”。借助智能化的手段,人均设备维护量可以提升 10 倍效率达到 5000 台。46“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告乌兰察布华为云数据中心位于内蒙古自治区乌兰察布市,地处首都“一小时经济圈”,是华为云乌兰察布区域超级云数据中心集群之一。项目采用预制模块化建设方式,其 D01D03 期每期建筑面积 9223.66m2,三期共计容纳 3000 机柜,总 IT 设备功率容量达 30MW,共计 1100 个预制模块,实际运行年均 PUE 达 1.15。预制模块化数据中心融合了模块化数据中心与预制建筑技术

118、,将传统数据中心各功能子系统机柜子系统、供配电子系统、消防系统、管理系统、照明系统、温控系统、防雷接地子系统、辅助子系统等集成在一定尺寸的箱体内,形成特定的功能模块包括:供电模块、温控模块、设备模块、辅助模块等,整体数据中心由各功能模块现场拼接而成,且箱体模块在工厂完成预制与预调测。通过采用预制模块化数据中心技术,以 D01 项目为例,项目从 2019 年 3 月开始施工,2019 年 9 月安装调试完毕,6 个月完成交付上线,相比传统土建方式节省 50% 以上的建设周期,匹配云业务快速上线的发展需求。内蒙古自治区乌兰察布华为云数据中心,综合利用先进绿色低碳技术实现节能减排47除了在建设方式上

119、的创新外,乌兰察布云数据中心在供电和制冷技术上也利用了多项技术来实现节能减排:电气节能技术与措施 使用节能超高效模块化 UPS,优化供电和冗余结构,使 UPS 主机工作在高效低耗区间内,效率达到 97% 以上,电流谐波成分 THDi5%。同时采用智能在线运行模式,效率高达99%,减少供电损耗。 采用预制化电力模块,减少低压供电链路路径,增加主动运维措施,减少线损和接触异常带来的电损。 机柜区域采用模块化智能小母线,更可靠、易维护、高效率、灵活扩容,减少电缆使用,在输送同样电力的情况下,降低损耗,同时减少电缆废弃后对环境的污染。动力设备采用电缆,线路尽可能走直线,少走弯路,以减少导线。空调节能技

120、术及措施 间接蒸发冷却机组包含三大制冷模式:机组内发生非接触式的空气 - 空气换热 ; 通过喷淋水系统发生水 - 空气换热;开启压缩机补冷系统。间接蒸发冷却充分利用室外自然冷源,尽量延长自然冷却时间,减少压缩机开启的时间,实现机房的节能,乌兰察布地区一年开启压缩机的时间不到 30 天,实现机房的节能。 采用封闭热通道技术,冷热气流隔离,减少冷量混合损失,提升制冷效率;通过 CFD(Computational Fluid Dynamics,计算流体动力学)模拟寻优最佳冷热通道间距,保证冷热通道的正负压和气流速度均衡,保证每个机柜能够均匀送风,减少风量不平衡带来的空调能量损失。 充分利用华为自研的

121、 iCooling-AI 系统级智能能效寻优技术,通过深度学习,自动推理并下发当前室外环境工况与机房负载下最优 PUE 下的系统控制参数,实现数据中心能效最优,降低整体能耗的 1015%。 通过 L1 制冷系统和 L2 通信设备的联动调优保证数据中心制冷系统满足服务器动态的制冷需求,保证冷量不浪费,达成极致 PUE。作为华为云“南贵北乌”两大数据中心之一,乌兰察布华为云数据中心在技术架构、绿色环保、智能运维三方面具有显著的差异化优势。通过使用电气、空调节能技术,项目建成后年环境效益为减少二氧化碳排放约合 28600 吨。附录:绿色节能数据中心优秀实践48“碳达峰、碳中和”背景下数据中心绿色高质

122、量发展研究报告青海省海南州是全国重要的清洁能源基地,拥有丰富的水电、风电、光伏等电力资源,具备发展数据中心所需的巨大的电力成本优势。依据工信部的分类标准,海南州自身冷凉干燥,气候条件适宜,是一类发展大数据中心的地区。为了充分利用自身优势,推进实施“新能源 + 大数据”战略,海南州规划建设了大数据产业园,规划面积 1200 亩,着力打造全国首个 100% 利用清洁能源运营的大数据产业示范基地,并以此为依托发展“一个核心区、四个基地”的产业布局,即青海省数字经济生态综合实验核心区、国家级大数据灾备基地、国家级能源大数据产业基地、国家级藏语服务外包基地和西部数字经济产业融合示范基地。海南州大数据中心

123、着力于数据中心全生命周期管理,以“极简、绿色、智能、安全”为主要理念,实现供电、制冷、运维智能化管理,使能数据中心基础设施价值最大化。青海省海南州大数据产业园一期项目,实现 100% 清洁能源数据中心49鹏城云脑 II 是信息领域国家级实验室,承担 AI 算法、药物研发、分子动力学、基因分析、天气预测等学术研究的国家战略科研力量;同时也是公共算力服务平台,支撑重大应用需求,承担引领企业下一代技术产品研发和全国人工智能大赛 (NAIC) 的服务 AI 产业发展的孵化器。鹏城云脑 II 在世界人工智能算力(AIPerf)500 排行第一,IO500 排行榜第一。深圳鹏城云脑 II 基于华为昇腾 A

124、I 处理器组成的 Atlas900 AI 集群,提供相当于 50 万台高性能 PC 的 E 级 AI 算力,全部采用单柜 43kW 板级液冷系统,用电节省 60%,PUE85%,基于华为预制模块化乐高式搭建模式,支撑鹏城云脑 II 人工智能数据中心的全栈建设,从基建到业务上线仅需要 3 个半月。深圳鹏城云脑 II 人工智能数据中心,实现 AIPerf 世界人工智能算力 500 排行第一,IO500 排行榜第一东部区域数据中心重点关注高算力和高能效附录:绿色节能数据中心优秀实践50“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告成都人工智能计算中心由华为公司与成都高新区共同建设含“一中心、

125、三平台”。“一中心”即“国家一体化大数据中心成渝 I 类节点”,将结合成都在西部的经济、科技中心地位,承接国家重要需求、科研创新和战略落地;“三平台”包括城市智脑平台、全球领先(E 级)人工智能计算平台、全球智能数据存储与机器视觉科研创新平台,充分发挥成都在人工智能领域的应用场景多元和科教资源丰富等优势,加强在智能空管、智慧医疗、智慧金融等场景的应用示范,端到端打通“产”“学”“研”“用”全产业链。成都人工智能计算中心基于华为昇腾 AI 处理器组成的 Atlas900 集群全栈基础软硬件建设,通过预制模块化模式,仅用 35 天完成预制模块化机房基础浇筑,7 天完成 65 个 FusionDC

126、集装箱吊装,16 天封顶,4 个月就实现了从进场施工到正式上线。成都人工智能计算中心,4 个月完成建设中 信 银 行 采 用 华 为 OceanStor Dorado 全 闪 存 解 决 方 案 承 载 交 易 系 统 数 据 库、ODS(Operational Data Store 操作型数据存储)、MIS 系统等多种业务核心应用,其中 ODS 分析系统从原来的 7 个小时降低为 3 个小时, 响应时延从原来的 8ms 降低为 1ms, 业务效率成倍提升。同时通过全闪存储的双活解决方案架构,保障关键业务 7X24 小时稳定在线。浦发银行采用华为 OceanStor Dorado 全闪存解决方案,采用业界领先的高端全闪存和NoF+ 方案,显著提升毫秒级存储响应速度。应用性能是原来的 3.5 倍,支撑交易数据库 TPS 增长 7 倍,保障交易业务平稳运行;通过 “存储层 + 数据库层”双层数据保护方案,实现两地三中心数据保护 + 基于应用层可靠性双保险,共同确保业务永不中断。基于 AI 算法学习银行业务的数据路径,提高数据预读命中率;通过智能重删压缩大大降低存储及电力资源消耗;三层智能管理系统实现数据全生命周期管理, 降低运维成本。 整体实现 50% 机柜空间缩减, 72% 电费缩减,66% 营运支出缩减。北京和上海地区银行采用全闪存储数据中心,降低能耗提升业务效率

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(华为&国家信息中心:“碳达峰、碳中和”背景下数据中心绿色高质量发展研究报告(2022)(56页).pdf)为本站 (小时候) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态:

138**73...   升级为高级VIP  138**36... 升级为标准VIP

138**56...   升级为标准VIP wei**n_... 升级为至尊VIP

 wei**n_... 升级为标准VIP 137**86... 升级为高级VIP 

159**79...  升级为高级VIP wei**n_...  升级为高级VIP

 139**22... 升级为至尊VIP  151**96...  升级为高级VIP 

wei**n_... 升级为至尊VIP  186**49... 升级为高级VIP 

 187**87... 升级为高级VIP  wei**n_... 升级为高级VIP 

wei**n_...  升级为至尊VIP sha**01...  升级为至尊VIP 

 wei**n_... 升级为高级VIP 139**62... 升级为标准VIP 

 wei**n_... 升级为高级VIP  跟**... 升级为标准VIP 

182**26... 升级为高级VIP    wei**n_... 升级为高级VIP

 136**44... 升级为高级VIP  136**89... 升级为标准VIP

wei**n_...  升级为至尊VIP wei**n_...  升级为至尊VIP

wei**n_... 升级为至尊VIP  wei**n_...  升级为高级VIP

wei**n_...  升级为高级VIP  177**45...  升级为至尊VIP

wei**n_...   升级为至尊VIP wei**n_...  升级为至尊VIP

微**... 升级为标准VIP    wei**n_... 升级为标准VIP 

wei**n_...  升级为标准VIP  139**16... 升级为至尊VIP 

 wei**n_... 升级为标准VIP  wei**n_...  升级为高级VIP

 182**00... 升级为至尊VIP wei**n_... 升级为高级VIP

wei**n_...  升级为高级VIP  wei**n_... 升级为标准VIP 

133**67... 升级为至尊VIP  wei**n_... 升级为至尊VIP

柯平 升级为高级VIP   shi**ey... 升级为高级VIP 

 153**71... 升级为至尊VIP    132**42... 升级为高级VIP

 wei**n_... 升级为至尊VIP  178**35... 升级为至尊VIP 

 wei**n_...  升级为高级VIP  wei**n_...  升级为至尊VIP

 wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP

133**95...  升级为高级VIP  188**50... 升级为高级VIP

 138**47... 升级为高级VIP 187**70... 升级为高级VIP 

Tom**12...  升级为至尊VIP   微**... 升级为至尊VIP

 wei**n_... 升级为至尊VIP  156**93... 升级为至尊VIP 

wei**n_... 升级为高级VIP wei**n_... 升级为至尊VIP

wei**n_... 升级为标准VIP   小敏 升级为高级VIP

hak**a9... 升级为至尊VIP  185**56... 升级为高级VIP 

156**93... 升级为标准VIP wei**n_...  升级为至尊VIP 

wei**n_... 升级为至尊VIP  Br**e有... 升级为至尊VIP 

wei**n_...  升级为标准VIP  wei**n_...  升级为高级VIP

wei**n_... 升级为至尊VIP   156**20... 升级为至尊VIP 

wei**n_...   升级为至尊VIP 微**...  升级为标准VIP 

135**45...  升级为标准VIP wei**n_... 升级为至尊VIP

 wei**n_...  升级为高级VIP  157**60... 升级为高级VIP

150**45... 升级为至尊VIP  wei**n_... 升级为标准VIP 

 wei**n_... 升级为至尊VIP 151**80... 升级为高级VIP 

135**10... 升级为标准VIP    wei**n_... 升级为高级VIP

wei**n_... 升级为高级VIP  wei**n_...  升级为至尊VIP 

wei**n_... 升级为标准VIP   wei**n_...  升级为高级VIP

wei**n_...  升级为高级VIP 135**22...  升级为高级VIP

wei**n_... 升级为至尊VIP  181**62...  升级为至尊VIP

黑**...  升级为至尊VIP wei**n_...  升级为至尊VIP 

178**61...  升级为高级VIP  186**20... 升级为高级VIP