《中国计量科学研究院:数据中心冷板式液冷测试验证技术白皮书(108页).pdf》由会员分享,可在线阅读,更多相关《中国计量科学研究院:数据中心冷板式液冷测试验证技术白皮书(108页).pdf(108页珍藏版)》请在三个皮匠报告上搜索。
1、 1 前 言 数据中心需求量激增带来的高耗能、高排放与“双碳计划”之间的矛盾日益突出。工信部公布的数据显示,2021 年全国数据中心总用电量达 940 亿千瓦时,2022 年总用电量突破 1000 亿千瓦时。此外,随着单机柜功率密度的不断提升,数据中心面临能耗和散热的挑战越来越大。在此背景下,液冷技术在数据中心的应用得到行业广泛关注。本白皮书概述数据中心液冷技术的优势和面临的问题,借助国家质量基础的方法论,通过测试验证技术的应用,从产品、系统、项目三个层级,探讨测试验证技术对冷板式液冷技术可靠性、能效提升等维度的影响,以期在满足高可靠性的基础上最大化的提升冷板式液冷技术的能效优势,实现冷板式液
2、冷数据中心高质量发展。本白皮书由中国通信工业协会数据中心委员会、中国计量科学研究院主编,液冷产品厂家、集成商、液冷数据中心业主、检测实验室等众多单位参编,在此表示感谢。由于时间仓促,书中难免有不足之处,请同行专家批评指正,以便后续完善修正。2 参编单位 中国通信工业协会数据中心委员会 中国计量科学研究院 中科智道(北京)科技股份有限公司 中国质量认证中心 英特尔(中国)有限公司 浪潮电子信息产业股份有限公司 曙光数据基础设施创新技术(北京)股份有限公司 新华三技术有限公司 山西数据技术有限公司 北京中科仙络咨询服务有限公司 江苏四为信网检测技术有限公司 中能测(北京)科技发展有限公司 北京中测
3、信通科技发展有限公司 上海迪佑拂科技咨询服务有限公司 北京数字科智技术有限公司 科华数据股份有限公司 深圳易信科技股份有限公司 广东申菱环境系统股份有限公司 三河同飞制冷股份有限公司 南方电网大数据服务有限公司 润泽科技发展有限公司 联想(北京)有限公司 德赛英创(天津)科技有限公司 纯钧新材料(深圳)有限公司 安徽星载智算科技有限公司 3 参编专家 金和平 潘建初 沈庆飞 黄超 张晓雪 张伟 张开 陈凯 邢贺 席家林 林清民 魏芳伟 陈振国 白本通 刘和军 孙宇 黎小龙 陈新丹 陈刚 孙地 陈林 李金波 郭俊峰 汪新新 何伟宇 刘运 张小秋 帅旗 常乾坤 徐欣 吕俊哲 申圳 王龙 杨瑞 李兴
4、粒 沈诚 祝敬 周绍荣 易明 胡宇昭 刘交通 刘晶晶 4 目 录 一、数据中心发展背景.11(一)数据中心高能耗现状.11(二)数据中心能效相关产业政策.12(三)数据中心发展趋势.13 二、数据中心液冷技术介绍.16(一)液冷技术概述.16 1、冷板式液冷(Cold Plate Cooling).16 2、浸没式液冷(Immersion Cooling).17(二)冷板式液冷技术介绍.19 1、冷板式液冷技术原理.19 2、冷板式液冷技术组成.20 3、冷板式液冷技术在数据中心中的应用优势.21 4、冷板式液冷技术应用场景.22(三)液冷技术面临的问题.22 三、冷板式液冷产品级测试验证技术
5、.24(一)液冷冷量分配单元(CDU).24 1、产品测试环境搭建.24 2、模拟负载校准.25 3、工艺性能测试.26 4、性能测试.28 5 5、功能及逻辑测试.32 6、安规测试.36 7、系统可维护性测试.36(二)快装接头.37 1、外观结构检查.38 2、材质相容性试测试.40 3、材质耐老化性测试.40 4、流动性能测试.40 5、可靠性测试.41 6、连接、断开循环测试.44 7、连接力测试.45(三)液冷服务器冷板.46 1、设计检验.47 2、外观检查.48 3、结构检验.49 4、热性能测试.50 5、可靠性测试.51(四)软管.54 1、外观检查.54 2、密封性测试.
6、55 6 3、环境适应性测试.55 4、低温试验.55 5、高温试验.56 6、盐雾中性试验.56 7、拉力测试.57 8、变形测试.57 9、扭转测试.57 10、爆破试验.58 11、阻燃测试.58 12、绝缘电阻(安规)测试.59 13、耐电压测试.60 14、静液压试验.60 15、霉菌试验.61 16、洁净度测试.61 17、振动适应性测试.62 18、冲击适应性测试.62 19、材质兼容性测试.62(五)分集水单元.63 1、焊缝工艺检测.63 7 2、管道清洗工艺检测.64 3、耐压测试.64 4、密封性测试.64 5、输送测试.65 6、快插头插拔泄露测试.66 7、自动排气阀
7、排气功能.66(六)冷却液.66 1、外观及气味检查.66 2、液体密度测试.67 3、液体沸点测试.67 4、液体倾点测试.68 5、液体粘度.68 6、液体闪点.68 7、液体比热容.69 8、液体热导率.69 9、液体电导率.70 10、残留物.70 11、酸碱度.70 12、细菌及微生物.71 8 13、冷却液体毒性参数.71 14、兼容性测试及要求.73 四、冷板式液冷系统级测试验证技术.74(一)冷却系统测试验证.75 1、冷却塔.76 2、板式换热器.78 3、冷水机组(如有).78 4、CDU.79 5、循环泵.80 6、管道及阀门.81(二)功能测试.82 1、冷却塔.82
8、2、板式换热器.83 3、冷水机组.83 4、CDU.85 5、循环泵.86 6、管道及阀门.86(三)性能验证.87 1、冷却塔.88 2、板式换热器.88 9 3、冷水机组.88 4、CDU.89 5、循环泵.89 6、管道及阀门.89(四)供配电系统测试验证.90 1、电气系统测试验证概述.90 2、电气系统测试验证要点.90(五)设备监控系统测试验证.91 1、设备监控系统测试验证概述.91 2、设备监控系统测试验证要点.92(六)自动控制系统.93 1、自动控制系统测试验证概述.93 2、自动控制系统测试验证要点.94(七)冷板式液冷项目测试验证案例分享.96 五、冷板式液冷项目级测
9、试验证技术.96(一)安全可靠性.96 1、整体架构.97 2、一次侧系统.98 3、二次侧系统.99(二)能源利用效率.100 1、水资源利用效率(WUE).100 10 2、冷板式液冷系统电能利用效率.100(三)冷板式液冷改造.103 1、服务器级改造.103 2、机柜级改造.104 六、总结.105 11 一、数据中心发展背景(一)数据中心高能耗现状 物联网、互联网、人工智能等高速发展,使与之配套的数据中心基础设施需求量与日俱增。2023 年 4 月国家互联网信息办公室对外发布了数字中国发展报告(2022 年),报告显示,我国数据中心机架总规模超过 650 万标准机架,近 5 年年均增
10、速超过 30%,在用数据中心算力总规模超 180EFLOPS,位居世界第二。数据中心需求量激增带来的高耗能、高排放与“双碳计划”之间的矛盾日益突出。关于数据中心的高能耗问题,国内不同研究机构给出的年能耗值不尽相同,工信部公布的数据显示,2021 年全国数据中心总用电量达 940 亿千瓦时,2022 年总用电量突破 1000 亿千瓦时。图 1 所示,部分研究机构预测未来十年,国内数据中心耗电量将翻倍。事实上,随着数据中心节能新技术的应用,尽管算力需求持续高比重增长,未来的数据中心的高耗能、高碳排放的情况未必会到达如此高的水平,但这并不意味着 IT 行业和决策者可以高枕无忧。数据中心的绿色节能低碳
11、发展依然是值得关注的重点课题。12 图 1 数据中心年用电量趋势(二)数据中心能效相关产业政策 2020 年 9 月我国明确了“碳达峰、碳中和”目标,标志着中国对促进经济高质量发展,社会繁荣和生态环境保护的决心。2021 年2 月,国务院发布关于加快建立健全绿色低碳循环发展经济体系的指导意见,要求加快信息服务业绿色转型,做好大中型数据中心、网络机房绿色建设和改造,建立绿色运营维护体系。2021 年 6 月国管局和国家发改委联合发布的“十四五”公共机构节约能源资源工作规划和同年 11 月由国家发改委、中央网信办、工信部、国家能源局四部委发布的 贯彻落实碳达峰碳中和目标要求推动数据中心和5G 等新
12、型基础设施绿色高质量发展实施方案中均要求大型、超大型数据中心运行电能利用效率下降到 1.3 以下。2021 年 7 月,工信部发布 新型数据中心发展三年行动计划(2021-2023 年),提出坚持绿色发展理念,支持绿色技术、绿色产品、清洁能源的应用,全面 13 提高新型数据中心能源利用效率。随着国家一系列政策的相继颁布,数据中心绿色、低碳发展作为数据中心高质量发展战略的重要部分应运而生。数据中心绿色、低碳发展通过创新节能技术提升设备的能效,充分利用可再生能源降低碳排放,进而推动数据中心作为数字化新基建的基础性支撑作用,驱动社会实现节能降碳的目标。(三)数据中心发展趋势 数据中心的重要发展趋势(
13、图 3)就是基于解决新基建和数字经济等背景下需求量的激增与高耗能、高排放的矛盾。对于存量的数据中心,应采用精细化运维管理策略和节能改造等方案,提高数据中心的能源利用效率。对于新建数据中心,需采用节能新技术,比如高效利用室外自然冷源的制冷技术,余热回收技术,高效供配电系统设施等。图 2 所示,是英特尔公司发布的 冷板式液冷推动数据中心可持续发展 中公布的京东某典型数据中心的各系统能耗分布图可以看出:基础设施各子系统中,冷却系统的能耗占比最大,其次是供配电系统的损耗。因此,节能、高效、高可靠性、低成本的制冷方案是实现数据中心可持续发展的重点。液冷技术,具备高效的冷却性能,与图 4 所示传统的风冷数
14、据中心相比,液体的导热系数可以达到空气的 6 倍,同体积液体的比热容是空气比热容的 1000 倍,并且一定程度上解决了图 4 所示数据机房气流组织不合理的问题。因此液冷不仅提升了冷却效率,最大化利用 14 室外自然冷源,同时还能够解决高功率密度的服务器散热难题,近年来得到了行业的广泛关注。图 2 某典型数据中心各系统能耗分布图 图 3 数据中心发展趋势图 15 图 4 传统的风冷数据中心 16 二、数据中心液冷技术介绍(一)液冷技术概述 近年来,数据中心的计算能力和能源需求呈指数级增长,为了支持不断增长的 IT 负载功率密度,液冷技术作为一种有效的支持高负载功率密度的解决方案开始进入大众视野。
15、本章对液冷技术的定义、分类及应用方案进行全方位的阐述,并探讨液冷技术在数据中心面临的问题与挑战。数据中心液冷技术是一种将液体作为热量传输介质来冷却数据中心设备的先进技术。其基本原理是通过将液体直接或间接地引入数据中心设备,利用其高热容量和高导热性,将设备产生的热量迅速带走,并有效地散发到环境中。相比传统的空气散热方式,液冷技术具有更高的散热效率和能源利用率,能够有效解决大规模数据中心的热管理问题。1、冷板式液冷(Cold Plate Cooling)冷板是一种附着在服务器组件(如 CPU 和 GPU)上的散热板。冷板液冷技术是指液体通过冷板来吸收热量,然后通过液体管道将热量传递到远离服务器的散
16、热单元(图 5)。图 6 所示为冷板式服务器构造图。数据中心冷板液冷技术架构通常由冷量分配单元(CDU)、水质过滤处理装置、分集水单元、快装接头、冷源设备、输配水泵管路阀部件等构成。17 图 5 冷板式液冷原理图 图 6 冷板式服务器构造图 与传统的风冷服务器方案相比,冷板式液冷有几个优点:(1)更有效的热传递,因为液体比空气具有更高的热传输性能(如热导率,密度,比热容);(2)冷却介质在整个系统分布均匀性由于空气冷却,减少热点并提高整个系统的可靠性;(3)能够实现更高的功率密度,可以有效地处理密集IT负载产生的热量,进而通过有效地消除热量,提高数据中心内关键设备的性能和寿命。2、浸没式液冷(
17、Immersion Cooling)浸没式液冷是将整个服务器或其组件直接浸入液体冷却剂中的冷却方式。液体完全包围服务器元件,从而更加高效地吸收和散发热 18 量。这种方法能够显著降低服务器运行的温度,提高能效,但在部署时需要考虑到环境兼容性问题和设备维护问题。浸没式液冷根据冷却工质换热过程中是否相变,可分为相变浸没式液冷和非相变浸没式液冷技术。非相变浸没式液冷技术原理是将 IT设备直接浸没在绝缘冷却液中,冷却液吸收 IT 设备产生的热量后,通过循环将热量传递给热交换器中的水,然后通过水循环将热量传递到室外散热装置(图 7)。图 7 浸没液冷(非相变)原理图 相变浸没式液冷技术原理是将 IT 设
18、备浸没在沸点低于 IT 设备工作温度的冷却工质中,当 IT 设备的运行温度达到冷却工质沸点时,会引起冷却工质的局部沸腾,从而带走 IT 设备运行时产生的热量(图8)。19 图 8 浸没液冷(相变)原理图(二)冷板式液冷技术介绍 数据中心冷板式液冷技术是一种采用冷板作为热传递介质来实现数据中心设备散热的技术。冷板式冷却的概念可以追溯到数十年前,最早起源于航空航天和军事工业,随着时间的推移,这项技术不断发展,并在包括数据中心在内的各个行业得到了应用。特别是在当今人工智能(AI)算力需求快速增长的背景下,数据中心需要提供更高效的冷却解决方案以满足高功率计算的需求。因此,冷板式液冷技术的高的散热效率和
19、能源利用率的特点,为数据中心的热管理问题提供了可靠且高效的解决方案。1、冷板式液冷技术原理 冷板式液冷技术通过在服务器组件(如 CPU 处理器、GPU 图形处理器等其他发热部件)上安装冷板,利用冷板来吸收设备产生的热量,并通过液体管道将热量传递到远离服务器的散热单元。冷板作为热传递介质,能够更高效地将热量从设备中传导出来,并通过液体冷 20 却的方式将热量转移到环境中。2、冷板式液冷技术组成 冷板(Cold Plate):冷板是冷板式液冷技术的核心组件,通常由高导热材料(如铜或铝)制成。冷板上通常有一系列细小的通道,液体通过这些通道流动,与冷板接触并吸收热量。液体冷却剂(Coolant):液体
20、冷却剂是冷板式液冷技术中用于吸收和传递热量的介质,具有优异的热性能。常见的液体冷却剂包括去离子水、乙二醇水溶液等。液体冷却剂通过冷板的通道流动,吸收设备产生的热量,并将热量带走。泵(pump):泵提供动力,使液体冷却剂循环通过冷板和冷却系统,确保有效的热传递。常用泵的类型有离心泵和容积泵。热交换器(Heat exchanger):热交换器用于将液体冷却剂吸收的热量传递给二次冷却介质,如空气或单独的水回路。热交换器可以是风冷式或液冷式。过滤和净化装置(Filtration and purification units):过滤器用于清除液体冷却剂中的碎屑和颗粒,确保系统的性能和寿命。紫外线杀菌或化
21、学处理等方法可净化冷却液。液体管道(Liquid Pipes):液体管道连接冷板与散热单元,将热量传递到散热单元进行散发。液体管道通常由耐腐蚀、耐高温和耐压的材料制成,如不锈钢或其它材料。冷却液分配单元(Coolant Distribution Unit):冷却液分配 21 单元是冷板式液冷技术中的热交换器,包含热交换器、泵、控制系统等,用于将液体传递的热量散发到环境中。分配单元可以采用风扇、热交换器或冷却塔等设备,根据具体情况选择最适合的散热方式。控制系统(Control system):控制系统监控和调节冷却系统的运行,包括温度和压力传感器,用于测量散热并调整泵速或冷却剂流速。3、冷板式液
22、冷技术在数据中心中的应用优势 高散热效率:冷板式液冷技术能够提供更高的散热效率,相比传统的空气散热方式,能够更快速、高效地将热量从设备中带走,保持设备的温度在较低的水平。高能源利用效率:通过冷板式液冷技术,数据中心能够更好地管理热量,减少能源的消耗。相比传统的空气散热方式,液冷技术能够降低数据中心的总体能耗,提高能源利用效率。高空间利用率:冷板式液冷技术可以将热量从设备直接传递到散热单元,减少了空气散热所需的附加空间。数据中心可以更紧凑地布局设备,提高空间利用率。高设备可靠性:冷板式液冷技术可以保持设备温度在较低的水平,减少设备的热应力,提高设备的可靠性和寿命。稳定的温度环境可以降低设备故障率
23、,提高数据中心的运行稳定性。环境友好:液冷技术能够有效降低数据中心的碳排放量和对自然资源的消耗,有助于推动数据中心向环境友好型转型。冷板式液冷技 22 术通过减少能源消耗和碳排放有助于数据中心实现可持续的发展。4、冷板式液冷技术应用场景 随着高性能计算(HPC)的发展和 IT 负载功率密度的增加,冷板式液冷技术在数据中心获得了广泛的应用。高性能计算集群、人工智能(AI)基础设施和高级分析平台的数据中心通常使用冷板式液冷技术来解决和管理这些系统产生的大量热量。(三)液冷技术面临的问题 尽管数据中心液冷技术在提供高效散热和能源利用方面具有许多优势,但它也面临一些挑战和问题:1)成本较高:液冷技术的
24、实施和维护成本较高。液冷系统需要专门的基础设施和设备,如冷却液分配单元、冷却塔、泵和管道系统等。以上设备的购买、安装和维护都需要大量的资金投入,增加了数据中心建设和运营的成本。2)设计及实施复杂性:液冷技术的顺利实施需要前期缜密的规划设计,包括合适的管道布局、泵容量和冷却介质的选择等。数据中心的结构和布局也需要适应液冷系统的需求。因此,液冷技术的设计和实施相对较为复杂,需要专业的工程团队进行综合考虑和设计。3)维护和运营难度较大:液冷系统的维护和运营需要专业知识和技术。液冷介质的循环、泵的运行和冷却塔的维护都需要经验丰富的工程师来进行操作和管理。此外,液冷系统还需要定期检查和维护,以确保其正常
25、运行和散热效率,整体维护和运营的难度较大。23 4)安全性和泄漏风险:液冷技术中使用的冷却介质可能对设备和环境带来潜在的安全风险。如果泄漏发生,液体可能会对设备造成损坏,并可能对环境造成污染。因此,液冷系统的设计和实施需要严格遵守安全标准和规范,并采取必要的安全措施来防止泄漏和意外事故的发生。5)可扩展性和兼容性:液冷技术的实施需要与数据中心的设备和基础设施相兼容。某些设备可能不适用于液冷系统,或者需要进行额外的适配和改造。此外,液冷系统需具备良好的可扩展性,以适应新设备的加入和不断增长的散热需求。综上,在数据中心采用液体冷却需要仔细考虑基础设施要求、维护协议、兼容性问题和安全考虑。通过克服这
26、些挑战,液冷技术可以在优化数据中心运营、提高能源效率和支持现代乃至未来数字环境中不断增长的计算需求方面发挥至关重要的作用。24 三、冷板式液冷产品级测试验证技术(一)液冷冷量分配单元(CDU)液冷冷量分配单元(以下简称“CDU”,英文全称“coolant distribution unit”)是指用于二次侧高温冷却液与一次侧冷源进行换热,为液冷 IT 设备提供冷量分配和进行温度、压力、流量监控管理的模块。CDU 主要由换热器/冷凝器、循环泵、过滤器、储液罐,以及附件(阀门、管路、接头、传感器等)组成,具备换热、循环驱动、冷却液净化及储液功能。CDU 产品测试项目主要包括工艺性能测试、性能测试、
27、功能及逻辑测试、安规测试及系统可维护性测试,共计六项。1、产品测试环境搭建 产品级的测试需借助图 9 所示的测试环境,测试平台包括以下主要的子系统:(1)冷源系统:主要用于性能测试过程中的室内外热交换。(2)输配系统:用于冷却介质的输送,包括输配水泵、管路、阀部件等。(3)数据采集模块:用于电能、热工性能相关数据的采集。(4)模拟负载:提供稳定的功率负载,同时承载测量功能,包括温度、压力、流量、功率等参数的测量。25 图 9 测试环境搭建示意图 2、模拟负载校准 液冷模拟负载(liquid cooling artificial load)行业俗称“液冷模拟负载”,用于代替数据中心的信息设备,模
28、拟数据中心各系统的运行状况,进行系统的测试、验收和试验。液冷模拟负载不仅要提供稳定的功率负载,还具备一定的测量能力,包括但不限于温度、压力、流量、功率等参数。因此,产品级、系统级、项目级的液冷数据中心相关测试所用到的液冷模拟负载均需由计量机构进行校准,以确保测试结果的精准可靠。校准关注准确度等级和功率稳定度两个维度的内容。(1)准确度等级 液冷模拟负载的准确度等级及最大允许误差如表1所示。(2)功率稳定度 26 保持周围环境条件不变,模拟负载在相同的供水、回水温度工况下,在规定时间间隔(3min)内,实际的运行功率与设定功率最大误差的绝对值不大于设定功率的5%。表1 液冷模拟负载准确度等级及最
29、大允许误差 功能 最大允许误差 0.5 1.0 1.5 测量项 温度 0.5 1.0 1.5 压力 0.5%1.0%1.5%流量 0.5%1.0%1.5%功率 0.5%1.0%1.5%功率稳定性 实际的运行功率与设定功率最大误差的绝对值不大于设定功率的 5%3、工艺性能测试 工艺性能测试主要包括耐压测试、焊缝工艺检测、密闭性检测、管道清洗工艺检测、快插头插拔泄漏测试、辅件安装工艺测试等。(1)焊缝工艺检测 检测目的:CDU设备内不锈钢管路系统(一次侧、二次侧)、二次管路系统等的焊缝工艺是否满足要求。检测方法:参考标准 GB50205 钢结构工程施工质量验收规范、ISO 23277-2015焊缝
30、的无损检验、穿透试验、验收等级(ISO 23277:2015 Non-destructive testing of welds-Penetrant 27 testing-Acceptance levels)执行。按比例进行焊接管路抽检,采用射线探伤、超声波探伤或渗透探伤检查。评判标准:焊接管路焊缝无裂纹、错口、咬边、或气孔等。(2)压力测试 测试目的:验证CDU一、二次侧承压能力。测试方法:参考GB/T 50243-2016 通风与空调工程施工质量验收规范、GB/T 50235-2010 工业金属管道工程施工规范 执行。二次侧采用去离子水作为试验介质,一次侧采用纯水或去离子水作为试验介质,测试
31、压力应为设计压力的1.5倍,测试时间 1h。(注:耐压偏小的电导率传感器、泄压阀等部件须提前拆除堵头封堵后打压测试)。评判标准:CDU各部件及连接位置无破裂、渗漏等现象,压降0.02MPa,则评判为合格。(3)管道清洗工艺检测 检测目的:验证CDU内不锈钢管路系统、二次管路系统的清洗工艺是否满足要求。检测方法:CDU设备清洗、烘干完成后,管路采用去离子水冲洗。评判标准:出口液体的电导率、浊度等指标满足GJB 420B-2006航空工作液固体污染度分级不低于9级标准。(4)辅件安装工艺测试 测试目的:验证自动排气阀、压力传感器的安装工艺是否满足要求。28 测试方法:拆卸自动排气阀、压力传感器,目
32、视检查,并拍摄照片。评判标准:自动排气阀、压力传感器的安装采用螺纹+O型密封圈为合格;采用螺纹+生胶带密封等其他方式为不合格。4、性能测试 性能测试主要包括传感器校准、循环泵测试、一次侧流通能力测试、一次侧调节能力测试、二次侧供液能力边界测试、CDU 内部阻力测试、二次侧压差自动控制能力测试、二次侧流量自动控制能力测试、CDU 二次旁通阀流量调节能力测试、额定换热量测试、负载冲击测试、输入谐波测试、整机噪声测试等。(1)传感器校准 测试目的:验证 CDU 系统传感器的可靠性,保障其他相关测试数据的可靠性。测试方法:利用测试平台中安装的传感器(精度等级不低于 CDU设备内部的传感器,并且有效期内
33、校准证书精度满足要求)与设备内部的测量值进行比对。评判标准:比对或者测量能力审核依据公式(1)进行计算。=xXUDC2+Ulab2 (1)UDC为 CDU 设备仪表测量结果的不确定度,x 为 CDU 设备仪表的测量结果;Ulab为检测平台仪表测量结果的不确定度,X 为检测平台的测量 29 结果。En的绝对值小于或等于 1 时,CDU 设备内仪表精度满足使用要求。(2)循环泵测试 测试目的:验证 CDU 选配循环泵的性能是否合格。测试方法:系统补水排气完毕后,调整相关阀门开闭状态。通过调整水泵频率,记录满频、10%递减流量至流量为 0,每个工况点记录水泵进出口压力、流量和水泵耗电功率,绘制循环泵
34、水力曲线和效率曲线。评判标准:水力曲线、效率曲线作为产品资料与循环泵厂商给定资料对比评定部件性能是否达标。水泵实力曲线满足标称能力评判为合格。(3)一次侧流通能力测试 测试目的:测试 CDU 一次侧进水调节阀门的调节能力是否满足设计要求。测试方法:通过测试系统中一次侧进出 CDU 安装的压力传感器以及输配水泵,水泵变频或一次管路中的静态流量调节阀控制一次侧的循环水量,将 CDU 一次侧设计满载流量均分为若干流量工况进行压力降测试,最终绘制压降-流量曲线。评判标准:一次侧流通水力曲线上额定点与设计点比对分析是否满足设计需求。(4)一次侧调节能力测试 30 测试目的:测试设备在手动模式、自动模式下
35、的阀门调节能力是否满足设定要求。测试方法:手动模式下,调节自动阀门的开度,检查监控屏反馈的开度与实际开度是否一致;自动模式下,通过设置不同的温度设定值,检查阀门开度与实际运行温度的关联。评测标准:测试设备在手动模式、自动模式下的阀门调节能力,及时、准确响应调节要求为合格。(5)二次侧流通能力测试 测试目的:测试设备在手动模式、自动模式下的阀门调节能力是否满足要求。测试方法:通过测试系统中二次侧进出 CDU 安装的压力传感器,调整二次侧 CDU 配置的循环泵频率,将 CDU 二次侧设计满载流量均分为若干流量工况进行压力降测试,最终绘制压降-流量曲线。评判标准:二次侧流通水力曲线上额定点与设计点比
36、对分析是否满足设计需求。(6)二次侧压差自动控制能力测试 测试目的:测试设备在自动控制逻辑下,二次侧压差控制逻辑能够满足设计要求。测试要求:系统及 CDU 设备内部阀部件开闭状态调整到位,注水循环排气,将 CDU 运行模式调整为“压差控制模式”,分别设置额定压差值的 100%、90%、80%、70%、60%、50%,稳定后记录实际压差值。31 评测标准:通过观察稳态后的压差值与设定值偏差对比判定压差自控模式是否可靠。(7)二次侧流量自动控制能力测试 测试目的:测试设备在自动控制逻辑下,二次侧流量控制逻辑能够满足设计要求。测试方法:系统及 CDU 设备内部阀部件开闭状态调整到位,注水循环排气,将
37、 CDU 运行模式调整为“流量控制模式”,分别设置额定流量值的 100%、50%、10%,稳定后记录实际流量值。评测标准:通过观察稳态后的流量值与设定值偏差对比判定流量自控模式是否可靠。(8)额定换热量测试 测试目的:验证 CDU 的制冷能力是否满足设计要求。测试方法:通过二次侧配置的液冷模拟负载,调整不同 CDU 实际换热量。验证额定换热量 25%、50%、75%、100%四个工况点的实际换热参数。待每个工况运行稳定后,记录 CDU 一次侧、二次侧的压力、流量、温度、耗电功率等参数。评测标准:评估压力、流量、温度、耗电功率以及 CDU 换热器的换热温差等是否满足设计值以及实际应用场景的要求。
38、(9)负载冲击测试 测试目的:验证系统供液温度自控逻辑可靠性。测试方法:通过调整末端二次侧模拟负载的负载率,从满载 20%稳定运行阶跃至满载 100%,在满载 100%稳定运行后,再阶跃至满 32 载 20%。观察并记录 CDU 一次侧、二次侧供回液温度、流量、压力参数。评测标准:分析负载冲击过程 CDU 运行参数偏离范围是否满足设计需求。(10)整机噪声测试 测试目的:验证机运行噪声是否满足设计需求。测试方法:参考 GB/T 22075-2008 高压直流换流站可听噪声、GLTD-02-1-0602001噪声测量指导书,测量点距离 CDU 水平1.5m、高度 1.5m。评测标准:液冷 CDU
39、 空闲状态各侧面噪声声压级的平均值应不大于 65dB(A);正常工作状态各侧面噪声声压级的平均值应不大于70dB(A)则为合格。5、功能及逻辑测试(1)自动排气阀排气功能 测试目的:验证自动排气阀能否自动排气,且排气过程没有水泄漏。测试方法:根据设备的设计和实际使用情况,设定测试压力,设备内充注一部分空气或氮气,观察排气阀排气状况。评判标准:排气阀可以自动排气且没有泄漏,则判定合格。(2)CDU 补液系统功能测试 测试目的:验证 CDU 补液系统功能是否满足项目设计要求。33 测试方法:CDU 补液系统手动和自动模式下,模拟各类故障或操作,并观察 CDU 的动作和报警信息、信号、上传接点信号是
40、否正常。评判标准:CDU 补液系统手动和自动模式下的运行情况,满足设计要求。(3)补液系统告警及补液时长功能测试 测试目的:验证 CDU 补液系统告警及补液时长是否满足项目设计要求。测试方法:模拟补液箱高低液位告警和传感器故障,观察 CDU的动作和报警信息、信号是否正常;记录补液箱补满时长和系统补液时长。评判标准:补液箱高、低液位可正常告警输出,补液箱正常补满时长满足选型要求;液冷系统补液检测压力小于设定压力告警输出,补到补液检测压力时长满足选型要求。(4)CDU 漏液检测功能 测试目的:验证 CDU 漏水检测功能是否满足项目设计要求。测试方法:管道漏液检测绳不同定位点洒水(不少于 5 个点位
41、),记录测试点位和报警点位位置。评判标准:验证 CDU 机柜内的漏水检测是否可以准确发出告警。(5)CDU 防凝露功能测试 测试目的:验证 CDU 防凝露功能是否满足项目设计要求。测试方法:设定二次侧供液温度低于供液温度接近露点温度的告 34 警值,测试告警信息及电动阀门的响应速度。评判标准:告警信息准确,电动阀响应灵敏。(6)ATS 功能 测试目的:验证 ATS 功能是否满足项目设计要求。测试方法:测试 ATS 的动作逻辑是否与模式设置相同,并观察ATS 的动作和显示;监测监控和报警信息是否正常;满载运行时,记录电源切换过程前后,ATS 的断电时长,二次侧的供回液温度、流量、压力参数以及水泵
42、的运行状态。评判标准:ATS 运行逻辑及模式满足设计要求,相关监控告警信息准确,满载运行进行电源切换,ATS 断电时间满足选型要求,二次侧的供回液热物理参数满足末端连续供冷的需求。(7)变频器功能性测试 测试目的:验证变频器的断通讯自保持功能是否满足项目设计要求。测试方法:模拟变频器的频率信号、启动信号断开,进行 ATS 切换操作,观察 CDU 的动作和报警信息、信号是否正常。评判标准:变频器的频率信号、启动信号均可失信保持,且 ATS切换时可“飞车”启动。(8)主循环泵及旁通阀功能性测试 测试目的:验证水泵的调控、旁通阀的调节是否满足项目设计要求。测试方法:测试主循环泵运行逻辑,旁通阀运行逻
43、辑,模拟循环 35 泵故障,有故障告警输出。评判标准:循环泵及旁通阀逻辑正常,故障告警输出正常。(9)CDU 群控功能性测试 测试目的:验证 CDU 群控功能是否满足项目设计要求。测试方法:N 台设备组成群组,(N-1)用 1 备,测试群控冷备、群控热备、压差模式、流量模式下,模拟各类故障或操作,并观察群组内各 CDU 的动作和报警信息、信号、上传接点信号是否正常。评判标准:满足设计技术规范中的群控策略要求。(10)控制器故障后机组运行自保持功能测试 测试目的:验证 CDU 的控制器故障或因掉电导致的突发停机,CDU 的水泵、电动阀等运行部件能否自保持运行。测试要求:CDU 按某工况稳定运行后
44、,断开控制器的供电,观记录 CDU 机组内的水泵、阀门状态;恢复控制器的供电接线,观察CDU 机组内的水泵、阀门状态。评判标准:控制器断电前后,水泵、阀门运行状态保持不变。(11)CDU 故障切换&切换时长测试 测试目的:验证 CDU 故障切冷备机功能,及切冷备机的过程时长,是否满足项目设计要求。测试方法:N 台 CDU 组网,模拟一台主机发生故障,记录备用机组的启动并达到正常供冷工况的时长。评判标准:主机故障到备用机组启动至正常供冷,时长满足设计要求。36 6、安规测试(1)接地电阻测试 测试目的:验证机组可接触金属部分与接地点之间的电阻大小 测试方法:用安规检测仪测试所有可接触金属部分与接
45、地点之间的电阻。评判标准:所有可接触金属部分与接地点之间的电阻不超过 1。(2)绝缘阻抗测试 测试目的:测试 CDU 设备或电气线路对地及相间的绝缘电阻,以保证这些设备、电器和线路工作在正常状态。测试要求:冷却设备中的电机、端子箱等电气设备与地(外壳)之间的绝缘电阻,测试电压 DC500V。评判标准:绝缘电阻不低于 10M。(3)耐压测试 测试目的:验证水泵接线端子与地(外壳)之间应承受能力。测试方法:水泵接线端子与地(外壳)之间应承受 1890V 的工频试验有效电压,持续时间为 1 分钟。评判标准:测试电压下没有发生击穿、闪络等现象。7、系统可维护性测试(1)排气阀在线更换功能测试 测试目的
46、:验证自动排气阀是否支持在线更换。测试方法:Manifold 内充液至设计压力,拆下排气阀,并重新 37 安装排气阀。评判标准:拆卸与安装过程,没有泄漏,则判定通过。(2)过滤器在线更换维护功能测试 测试目的:验证 CDU 内的一次、二次管路配置的过滤器在线维护功能是否满足要求。测试方法:CDU 的一次侧、二次侧都按设计压力与流量运行,分别操作一次侧、二次侧过滤器拆卸、维护、安装过程,并记录过程时间。判定标准:不影响 CDU 一次、二次侧的正常流量循环。(二)快装接头 液体快速接头(hydraulic quick disconnect)是一种包含插头和插座、且插头和插座都带流体截断功能的快速插
47、拔组件。液体快速接头可实现液冷系统带液插拔维护功能。当插头和插座连接时,流体接通,为冷板供液;当插头和插座断开时,供液中断,同时流体不会泄漏到系统外。单个液体快速接头包含主体和终端两个部分,主体是实现液体快速接头连接与密封功能的主要单元,终端作为接头的安装端口,用于液体快速接头的安装固定。快装接头测试主要包括外观结构检查、材质相容性测试、材质耐老化性测试、流动性能测试、可靠性测试、连接/断开循环测试及连接力测试等。38 1、外观结构检查 液体快速接头外观结构要求、检查方法及评测标准如表 2 所示。表 2 要求、检查方法及评测标准 序号 外观结构要求 检查方法 评测标准 1 液体快速接头外观应无
48、划痕、毛刺、沙眼、鼓泡等缺陷,表面镀层无漏镀、起泡、脱落等镀层缺陷,同一批次外观颜色应无明显色差和花斑,密封圈应无划痕、脏污、裂缝、变型等缺陷。使用目视法对液体快速接头进行外观检查;符合要求 2 液体快速接头内部应无水渍、油污、金属碎屑等杂质,螺纹无烂牙、无毛刺、倒角匀称,通孔垂直;使用目视法对液体快速接头内部进行检查;符合要求 3 液体快速接头终端结构及尺寸应符合使用方安装部位连接要求;使用测量工具检查快速接头终端结构及尺寸;符合要求 4 液体快速接头在连接过程中应快速完成锁定,锁定结构应手持插座与插头进行连接与断开操作;符合要求 39 稳定可靠,连接与断开过程操作方便,连接与断开时宜有视觉
49、、触觉或听觉反馈;5 快速接头应具有明显的颜色标识,供液及出液快速接头分别用蓝色、红色表示;使用目视法检查液体快速接头颜色标识;符合要求 6 快速接头应具有完整清晰的厂商、型号及批次标识;使用目视法检查液体快速接头标识;符合要求 7 快速接头在断开连接后芯体应能完全回弹;使用相同型号的插头和插座进行连接、分离操作,检查进行连接、断开操作后液体快速接头密封件是否能够完全回弹;符合要求 8 支持自动锁紧的液体快速接头的解锁结构应设置在插座中,手持插座完成快速接头的连接与断开;使用相同型号的插头和插座进行连接、分离操作,检验相同型号的插头和插座是否能互换使用;符合要求 9 相同型号的插头和插座应能互
50、换使用,在机械安装和性能方面,同一型号产品的插头、使用目视法检查液体快速接头锁紧结构,手持插座与插头进行符合要求 40 插座之间应能完全互换,并保证产品性能。连接、分离操作。2、材质相容性试测试 测试目的:验证冷却工质与橡胶、塑料材质的兼容性是否满足系统安全可靠性的要求。测试方法:塑料材质按照 GB/T 11547-2008 进行冷却工质浸泡测试,橡胶材质按照 GB/T 1690-2010 进行冷却工质浸泡测试。评测标准:通过质量、体积、表面积等参数评估材料的相容性测试结果是否满足要求。3、材质耐老化性测试 测试目的:进行材质耐老化性能的验证。测试方法:将试验样品连接试验系统,向试验系统及试验
51、样品内部充注试验工质,宜选用冷却工质作为试验工质,按照设计条件设定试验工质压力及流量,工质温度恒定,试验环境温度及湿度应符合要求。液体快速接头试验结束后恢复到环境温度,进行连接/断开循环,插头和插座进行密封性检查。评测标准:测试结果满足密封性评测标准。4、流动性能测试 测试目的:进行快装接头的流动性能的测试验证。41 测试方法:液体快速接头流动性能测试按照 ISO 18869、GB/T 5861 的压降测试方法进行。评测标准:不同通径的液体快速接头 Kv 值符合表 3 规定。表 3 快速接头 Kv 值要求(单位:m/h)参数 快速接头通径 3mm 4mm 5mm 6mm 8mm 9mm 10m
52、m 20mm 最小Kv 0.22 0.39 0.7 0.96 1.8 2.11 3.2 10 注:液体快速接头流动性能通过流量系数 Kv 值(以水作为流动介质)评估,Kv 定义为在 540的水通过连接状态下的快速接头,快速接头两端压差达到 100kPa 时水的流量。5、可靠性测试(1)压力测试 测试目的:验证快装接头在试验压力和设计压力工况下的严密性。测试方法:分别将连接及分离状态下的插头、插座与试压系统连接,调节试压系统至试验压力和设计压力,保持一定时间(试验压力建议保持 10min,设计压力保持 30min)。评判标准:连接及分离状态下的插头、插座外观结构应无可见形变,密封端面应无可见液滴
53、。(2)密封性测试 测试目的:液体快速接头在连接及分离状态下均可保持密封。42 测试方法:分别将断开状态下的插头、插座以及连接状态下的插头、插座连接在氦质谱检漏仪上,氦气压力为(0.30.01)MPa。评测标准:连接状态下的快速接头及断开状态下的插头、插座泄漏率不高于 110-7Pam3/s。(3)环境适应性测试 a)环境适应性 测试目的:可参考表 4 的环境工况条件进行环境适应性试验。表 4 环境适应性要求 参数 要求 工作温度 1575 贮存和运输温度-4075 工作、贮存及运输相对湿度 20%RH80%RH 测试方法:将试验样品放入高、低温试验箱,设定试验温度,试验样品温度稳定并保持。试
54、验时间结束后,液体快速接头恢复到环境温度,按照连接/断开循环试验的方法进行 10 次连接/断开循环,插头和插座进行密封性检查。评测标准:试验结果符合密封性评测标准。b)盐雾试验 测试目的:考核产品或金属材料的耐盐雾腐蚀质量。测试方法:参照 GB/T 10125 进行中性盐雾试验,试验周期为96h。评测标准:试验结束后被测样品应符合以下要求:金属无明显发 43 黑变暗;金属连接处无严重腐蚀;金属表面镀层等防护层无起皱、开裂或脱落,金属未出现腐蚀;非金属材料无明显的泛白、膨胀、起泡、皱裂以及麻坑等。c)霉菌试验 测试目的:检测产品抗霉菌的能力和在有利于霉菌生长的条件下(即高湿温暖的环境中和有无机盐
55、存在的条件下),设备是否受到霉菌的有害影响。测试方法:按照 GB/T 2423.16-2008 进行测试,连接系统所有部件应具有抗霉菌能力,试验霉菌为 GB/T 2423.16-2008 中规定的试验菌种的混合悬浮液。试验周期为 28 天。评测标准:试验后应能正常工作,检查冷却工质供回歧管表面、堵头密封圈、卡盘密封圈等部位,其外观影响等级不高于 1 级。(4)机械适应性试验 a)机械振动 测试目的:检测振动适应性,可参照表 5 的测试参数要求。表 5 振动适应性要求 振动类型 频谱要求 初始激励加速度 持续时间 振动方向 随机振动 5Hz500Hz 不低于2grms 20min X、Y、Z方向
56、 测试方法:将液体快速接头或设备配套管路安装到冷却工质供回歧管上,通过工装将机柜冷却工质供回歧管固定在在振动试验机的测 44 试平台上,测试工装需保护液体快速接头或设备配套管路在测试过程中不与测试平台接触,在 X、Y、Z 三轴上分别设置总均方根加速度。振动试验完成后,进行气密性测试试验。评测标准:试验结果应能符合压力要求及气密性要求。b)机械冲击 测试目的:检测冲击适应性,可参照表 6 的测试参数要求。表 6 冲击适应性要求 冲击波形 峰值加速度 m/s2 速度变化率 m/s 冲击方向和次数 方波 500 4.32 6 个方向,每个方向 3 次 测试方法:将液体快速接头或设备配套管路安装到机柜
57、冷却工质供回歧管上,通过工装将机柜冷却工质供回歧管固定在在振动试验机的测试平台上,测试工装需保护液体快速接头或设备配套管路在测试过程中不与测试平台接触,并在 6 个方向上设置峰值加速度、速度变化率,每个方向 3 次。冲击试验完成后,进行气密性测试试验。评测标准:试验结果应能符合压力要求及气密性要求。6、连接、断开循环测试 测试方法:在常温环境下进行本试验,使用纯水作为试验介质。将连接状态下的液体快速接头接试验系统,将液体快速接头内部压力缓慢提高至工作压力,流量调节为设计流量。对插头和插座进行连接 45 与断开循环试验,插头、插座完成一次连接与断开定义为一次循环,完成 1000 次循环。(注:非
58、插拔式连接全流量快速接头连接与断开循环宜大于 150 次)评测标准:完成 1000 次循环后,对插头和插座进行外观检查及气密性试验,插头、插座外观不能出现明显的划痕、磨损等损伤,密封面不能出现镀层脱落,连接及断开状态下,插头和插座应符合气密性要求。7、连接力测试 测试目的:检测连接力,可参照表 7 的测试参数要求。表 7 连接力要求 流体通径(mm)连接力(N)3 60 5 80 8 110 12 150 15 200 25 230 测试方法:连接力试验方法按照 GB/T 5861 中第 7 部分规定的连接力试验方法执行。评测标准:试验结果应满足连接力的要求。46(三)液冷服务器冷板 冷板(c
59、old plate)是指以冷却工质为媒介,将发热元件的热量交换的紧凑型换热器。传统的服务器散热器材质选用铜材质,图 10所示,成本较高。英特尔公司相关专家为降低冷板式液冷系统成本,提高其可用性,采用铝制合金材料进行测试,测试工装图 11 所示。通过测试,3DVC 散热结构的铝制冷板可以支持 700W 散热功率,热阻低至 0.0321/W,比铜材质热阻低 4.7%,压降低至 4kPa,比铜材质低 70%。并且铝材质比铜材质冷板价格更便宜,质量更轻,安全可靠性也较高。图 10 同材质冷板 图 11 英特尔公司测试用铝材质冷板工装 冷板测试主要包括设计检验、外观检查、结构检验、热性能测试、47 可靠
60、性测试等。1、设计检验 设计检验关注的技术要求主要包括:(1)应根据 CPU 或 GPU 等处理器的型号尺寸和发热特点及服务器及存储设备的内部结构进行设计,在符合处理器整个使用周期内的壳温要求下,优化流道设计,减小冷板模块的流阻;(2)应符合 CPU 或 GPU 等处理器插座的载荷及其他结构性要求;(3)配管位置及方向,冷却工质进出口位置,不应与服务器及存储设备元器件产生干涉;(4)冷板基板和流道宜采用铜或铝合金材质,一套冷板组件中冷却工质直接接触的部件不应有两种电极电位差较大的金属;(5)冷板外表面应具有抗腐蚀能力,抗霉菌能力和抗盐雾能力;(6)冷板内表面与冷却工质发生的化学反应不应影响冷板
61、性能与可靠性;(7)冷却工质的选用应与二次侧冷却环路中所有直接接触的固体表面材质具有相容性;冷却工质应符合液冷系统的长期使用寿命、毒性、导热性等要求,具体要求由厂商与用户共同确定。冷却工质宜使用去离子水溶液、乙二醇水溶液、丙二醇水溶液等。去离子水溶液选择宜按照 GB/T 29629-2013 的要求进行选择;乙二醇水溶液、丙二醇水溶液选择宜按照 NB/SH/T 0521-2010 的要求进行选择;48(9)漏液检测装置的泄漏量感应基准应不高于 0.5mL;(10)应符合处理器对散热器重量的要求;(11)冷板的安装及拆卸顺序,应符合处理器散热器等部件的操作规范;(12)应符合处理器的扣合力技术要
62、求,安装拆除后散热基板底面符合平面度技术要求。检验方法:通过查阅冷板有关设计文件确定是否符合冷板设计要求。2、外观检查(1)技术要求:冷板散热盖板应光滑,不应变形,散热基板底部表面不应有裂纹,划痕,变形、污点等缺陷,盖板与基板形成的腔体内部应洁净无脏污;冷板散热基板散热面形状宜为方形或八边形;固定模块表面应锐边倒钝,无毛刺;外表面应无划痕、脏污、明显色差和花斑、裂缝、变形等;缺陷,涂覆层无起泡、堆积、龟裂和脱落现象;接口应无毛刺、划痕、变形等缺陷,并与配管顺畅接合;配管管内应无脏污,无毛边,无破损。(2)检查方法及评测标准:通过目测法对冷板散热盖板表面,散热基板底部表面和散热面形状,固定模块表
63、面及其涂覆层,接口外观进行检查是否符合外观技术 49 要求。冷板进出口使用脉冲式清洗设备(脉冲式通液、液体可正反方向流动)或其他设备进行冲洗,冲洗工质为去离子水或其他溶液,冲洗工质控制通入最大流速为 2.5m/s。检验排出的冲洗工质是否满足透明,无油污,与进液水质相同,无明显颗粒物的要求。3、结构检验(1)尺寸检验 测试目的:冷板散热基板底面相对于处理器顶盖的尺寸应符合要求;冷板高度应符合布局空间要求,冷板安装后,应和其它部件(包含但不限于机箱上盖等)保持合理安全间隙。检测方法:利用游标卡尺、三次元测量仪,粗糙度测量仪或相似功能设备分别对冷板尺寸进行检验。评测标准:通过游标卡尺测量冷板基板底面
64、相对于处理器顶盖的外延尺寸符合要求;通过游标卡尺测量冷板的高度尺寸符合要求;使用粗糙度测量仪或相似功能设备测量冷板底部表面的粗糙度是否符合要求。(2)接口检验 测试目的:验证接口与管路连接符合其相应的密封性要求。检测方法:利用目测方法,拉脱力测量仪或相似功能设备分别对冷板接口进行检验;通过目测确定接口型式,以及散热模块与接口模块的固定方式;通过拉脱力测量仪测试散热模块与接口模块接触紧密 50 程度是否符合要求。评测标准:完成拉脱后,对冷板压力测试和密封测试进行压力试验,接口密封程度符合要求。(3)互换性测试 测试目的:在符合换热需求与结构需求的前提下,测试冷板散热模块结构一致性。测试方法:利用
65、目测方法对冷板互换性进行检验;通过目测确定散热模块和固定模块的固定方式。评测标准:冷板互换性满足要求。(4)压力测试和密封测试 测试目的:验证冷板的最大承压满足要求。测试方法:利用压力测试装置对冷板及冷板组件进行压力试验。评测标准:检验冷板是否不泄漏不变形。4、热性能测试 测试目的:通过测试,绘制冷板热性能和流阻曲线。测试方法:将冷板锁固在待测处理器上,冷板的液体进出口与热性能测试系统相连,确保测试环路中非凝性气体排空,并将流经冷板的液体流量调节到期望值,给待测处理器施加期望的功耗;待测试结果稳定后,记录冷板进出口的压力值,待测处理器的壳温 Tc,冷板入口液体温度,给待测处理器施加的功耗值以及
66、流经冷板的液体流量值。51 依据测试结果,分别依据式(2)和式(3)计算冷板在一定的流量范围内的热阻值和流阻值,绘出冷板的热性能曲线流阻曲线。R=(Tc-TL)/Q(2)式中:R冷板热阻,单位为摄氏度每瓦(/W);Tc待冷却处理器的壳温,单位为摄氏度();TL冷板入口液体温度,单位为摄氏度();Q施加在处理器上的功耗值,单位为瓦(W)。P=P1-P2(3)式中:P流经冷板的流阻值,单位为千帕(kPa);P1冷板进口的压力值,单位为千帕(kPa);P2冷板出口的压力值,单位为千帕(kPa)。评测标准:在用户期望的冷板使用边界条件下(给定的TL和Q),测得的冷板所能支持的壳温值,在考虑标准差和冷板
67、生命周期内热性能衰减之后不高于处理器的最大壳温。5、可靠性测试(1)气候环境适应性测试 测试目的:可参考表8的环境工况条件进行环境适应性试验。表8 气候环境适应性 气候条件 参数 温度()工作 040 52 贮存-4585 相对湿度 工作 8%90%(无冷凝)贮存 10%93%(无冷凝)大气压(kPa)86106 测试方法:环境试验方法的总则应符合 GB/T 2421、GB/T 2422的有关规定。主要的测试试验包括:工作温度下限试验、贮存温度下限试验、工作温度上限试验、贮存温度上限试验、工作恒定湿热试验、贮存恒定湿热试验、高低温循环试验。评测标准:试验完成后进行压力试验无泄漏,试验完成后平面
68、度检验合格,热性能测试合格。(2)振动试验 测试目的:可参考表9进行振动适应性试验。表 9 振动适应性 振动类别 振动类型 频率范围 初始激励加速度 持续时间 振动方向 冷板(组件)随机振动 5 Hz500 Hz 不低于2 grms 20 min X、Y、Z方向 运输包装件振动 随机振动 1 Hz200 Hz 0.82 grms 30 min X、Y、Z方向 测试方法:对于冷板的振动试验,将冷板锁固在工装上,工装固定在振动试验机的测试平台上,并在 X、Y、Z 三轴上分别设置需要的初始激励加速度,不同振动类别的振动时间是否符合振动适应性要 53 求。测评标准:振动试验完成后,测试冷板的热性能并记
69、录数据;拆下冷板,测试冷板的平面度,检验冷板是否泄漏。(3)运输包装件跌落试验 技术要求:运输包装件跌落适应性可在 1000mm 高度进行。测试方法:将运输包装件按 GB/T 4857.5 的要求和运输包装件跌落适应性要求的高度值进行跌落,跌落要求为六面三棱一角各跌落一次。试验后检查包装件的损坏情况,记录测试冷板的热性能并记录数据;拆下冷板,测试冷板的平面度,同时符合热性能要求,检验冷板或冷板组件是否无泄漏。测评标准:振动试验完成后,测试冷板的热性能并记录数据;拆下冷板,测试冷板的平面度,检验冷板是否泄漏。(4)冲击试验 测试目的:可参考表 10 进行冲击适应性试验。表 10 冲击适应性 冲击
70、波形 峰值加速度 m/s2 脉冲持续时间 ms 冲击方向和次数 半正弦波 500 11 6 个方向,每个方向3 次 测试方法:对于冷板的冲击试验,按照 GB/T 2423.5“试验 Ea”进行,冷板应进行初始检测,安装时应注意重力影响,按表 10 规定值,在不工作条件下,分别对三个互相垂直轴线方向各进行一次冲击 54 试验。测评标准:振动试验完成后,测试冷板的热性能并记录数据;拆下冷板,测试冷板的平面度,检验冷板是否泄漏。(四)软管 冷板式液冷系统中,主管路通过软管连接冷却工质供回歧管与环网,分支管路通过软管连接冷却工质供回歧管与冷板,连接软管承担传输冷却介质、连接设备和部件,具备导热、散热、
71、耐高温、耐腐蚀、以及保持密封性等性能,确保系统的正常运行和高效散热。软管测试验证项包括:软管的物理性能、耐压性能、耐磨性能、耐腐蚀性能、密封性能等。1、外观检查 通过目视法进行外观检查,检查和关注的主要项目包括:(1)软管上不应有影响性能和安装的缺陷;软管内外表面应清洁干燥、无破损、裂纹、气泡、缩孔、起皱、凸起等缺陷;(2)软管应减少弯折次数,减小流动阻力,折弯应符合软管最小折弯半径要求;(3)软管加工完成后及裁剪完成后应对软管内部进行冲洗,去除内部杂质颗粒等污染物;(4)软管切口断面应与软管轴线垂直,切口断面应光洁整齐,无毛边、缺口等缺陷。55 2、密封性测试 连接系统组装完成后应使用压缩空
72、气进行密封性试验,连接系统在工作压力下保持 24 h,试验环境温度变化不大于 5,压力数值变化应符合以下要求:(1)连接系统中承受压力的部件不包含连接软管时,压力数值变化应小于2%;(2)连接系统中承受压力的部件包含连接软管时,压力数值变化应小于10%。3、环境适应性测试 连接软管应满足系统气候适应性要求,包括:工作温度 1575、贮存和运输温湿度-4075、20%RH80%RH,且具备耐腐蚀和抗霉菌能力。4、低温试验 测试目的:测试软管样品在低温环境下使用、运输或贮存能力,按照标准GB/T 2423.1-2008 电工电子产品环境试验 第 2 部分试验方法 试验 A:低温进行测试。测试方法:
73、在温度-20、冰点-45丙二醇溶液(添加墨水)条件下,取样品长度为 500mm。将三个平行样品分别环绕在直径为 10倍管径的轴芯上,后放入高低温湿热试验箱(设置温度-20),持续72h,试验结束后,将样品浸润在水中(24)保持 4h,目测样品是 56 否有管体、覆盖层、加强层破裂或其他损坏的迹象。测评标准:样品合格,无有管体、覆盖层、加强层破裂或其他损坏迹象。5、高温试验 测试目的:测试软管样品在高温条件下放置足够长时间以达到稳定温度,按照标准 GB/T 2423.2-2008 电工电子产品环境试验 第 2部分试验方法试验 B:高温进行测试。测试方法:温度 100、样品长度为 500mm。将三
74、个平行样品放在高低温箱中的带水容器中(设置温度 100),持续 72h,试验结束后,冷却水温降至常温,目测样品是否有损伤迹象。测评标准:样品合格,无损伤迹象。6、盐雾中性试验 测试目的:比较具有相似结构的软管抗盐雾腐蚀能力,按照标准GB/T 2423.17-2008 电工电子产品环境试验 第 2 部分试验方法 试验 Ka:盐雾进行测试。测试方法:温度 352、溶液 pH 6.57.2、平均每小时收集量为 1.0ml2.0ml,样品长度为 500mm。将三个平行样品放在远离喷雾的盐雾箱,持续 96h,试验结束后,使用去离子水冲洗样品表面的盐水,目测是否有腐蚀现象。测评标准:样品合格,材料无明显的
75、泛白、膨胀、起泡、皱裂以 57 及麻坑、腐蚀迹象等。7、拉力测试 测试目的:按照标准 GB/T 7939-2008 液压软管总成试验方法进行测试。测试方法:将样品一端连接到带有接头的配件上,另一端连接在带有管道的接头,两端的配合接头和软管中心线保持垂直,持续 5min,再返回初始位置后,目测管体是否存在可视损坏迹象。测评标准:样品合格,无损坏迹象。8、变形测试 测试目的:按照标准 GB/T 7939-2008 液压软管总成试验方法进行测试。测试方法:将样品放在两块钢板中间,通过反复调整台虎钳的间隙来压缩软管,钢板将软管压缩到两侧管壁接触后返回其初始位置,经 50 个变形周期后,检查样品是否有可
76、视性损坏。测评标准:样品合格,存在折痕迹象,可复原也无损坏现象;存在折痕迹象,不可复原也无损坏现象。9、扭转测试 测试目的:按照标准 GB/T 7939-2008 液压软管总成试验方法进行测试。58 测试方法:样品一端用台虎钳压紧,另一端用通过用老虎钳不断的扭转使得软管扭转 180再沿相反方向扭转软管 180,重复扭转100 次,然后目测检查样品是否有可见损伤迹象。测评标准:样品合格,样品无法扭转 180,样品无损坏迹象;样品扭转 180,样品无损坏迹象。10、爆破试验 测试目的:按照标准 GB/T 9574-2017 橡胶及塑料软管及软管组合件验证压力、爆破压力与最大工作压力的比率进行测试。
77、测试方法:温度 27.6、湿度 82%、智能压力控制系统、样品长度为 500mm。4.0Mpa 的压力下保持 1min,目测无泄漏,无飞头,无破裂等,持续增压直至测试软管破裂。测评标准:样品合格,测试输水软管最小爆破压力与最大工作压力的比率大于 3.0,最大工作压力应不低于 1MPa,最小爆破压力不低于 4MPa。11、阻燃测试 测试目的:按照标准UL 94-2018 垂直、水平燃烧测试标准进行测试。测 试 方 法:温 度 21.2 ,湿 度 52%RH,样 品 尺 寸 为125mm13mm4mm。火焰高度(201mm),本生灯至于样品下方正中心位置,本生灯灯口距离样品底端(101mm),点火
78、时间为 59(100.5s),点火(100.5s)后以 300mm/sec 的速度移开本生灯150mm,同时开始记录余焰时间 t1,余焰停止时应立即点燃(100.5s),点火(100.5s)后以 300mm/sec 的速度移开本生灯 150mm,同时开始记录余焰时间 t2 和余晖时间 t3。测评标准:阻燃性能满足表 11 阻燃评判标准的要求。表 11 阻燃性评判标准 序号 判定条件 V0-1 V0-2 V0-3 1 单个试样余焰时间(t1 和 t2)10s 30s 30s 2 任一状态调节的总余焰时间 tf 50s 250s 250s 3 第二次施加火焰后单个试样的余焰时间加上余晖时间(t2+
79、t3)30s 60s 60s 4 余焰和(或)余晖是否蔓延至夹具 否 否 否 5 火焰颗粒物或滴落物是否引燃棉垫 否 否 是 12、绝缘电阻(安规)测试 测试目的:按照标准GB/T 30425-2013 高压直流输电换流阀水冷却设备进行测试。测试方法:安规测试仪、铜线 920mm,1/2、5/8 橡胶软管长度均为 1000mm。使用 7 芯 35mm2电线和 7 芯 16 mm2电线剥除外皮,35mm2铜线通入橡胶软管内,16mm2铜线缠绕橡胶软管外,测 60 试 10s。测评标准:样品合格,规定测试电压下泄露电流达到标准,绝缘电阻大于 10M。13、耐电压测试 测试目的:按照标准GB/T 1
80、6592005 硫化橡胶工频击穿电压强度和耐电压的测定方法、GB/T 30425-2013 高压直流输电换流阀水冷却设备进行测试。测试方法:温度 24.5、湿度 78%、工频交直流耐压试验装置、样品长度为 500mm。使用试验设备工装一端升入合成橡胶软管内,一端缠绕合成橡胶软管表面,输入高压电流。测评标准:样品合格,击穿电压满足耐电压要求。14、静液压试验 测试目的:按照标准GB/T 55632013 橡胶和塑料软管及软管组合件 静液压试验方法进行测试。测试方法:将连接软管与试压系统连接,调节试压系统以均匀的速率在 30s60s 内将连接软管内部压力提升至试验压力,试验压力应为设计压力 1.5
81、 倍(或最小爆破压力值的 70%,且0.2Mpa),保持 10min,连接软管本体及接口处应无可见液滴;调节试压系统以均匀的速率在 30s60s 内将连接软管内部压力降低至设计压力,保持30min。61 测评标准:样品合格,试验过程中连接软管本体及接口处应无可见液滴。15、霉菌试验 测试目的:按照标准GB/T 2423.16-2008 电工电子产品环境试验 第 2 部分:试验方法 试验 J 及导则:长霉进行测试。测试方法:连接系统所有部件应具有抗霉菌能力,试验霉菌为标准GB/T2423.16-2008中规定的试验菌种的混合悬浮液,试验周期:28d,试验后应能正常工作。评测标准:样品合格,检查测
82、试软管部件,其外观影响等级满足设计要求。16、洁净度测试 测试目的:测试软管的洁净度。测试方法:采用去离子水作为测试媒介,将测试样品接入试验设备,测试样品前后设置滤网密度为 50 m 的过滤器,去离子水经过水泵加压后冲洗测试样品内部,冲洗时间 1 min,收集测试样品出口处过滤器滤网前(即流动方向上游)的水样,采用颗粒计数器对试验开始及结束后对去离子水进行分析。测评标准:要求冲洗连接系统各组成部件前后的去离子水中的杂质颗粒最大直径不大于 50 m。62 17、振动适应性测试 测试目的:按照GB/T 2423.43-2008 电工电子产品环境试验.第 2 部分:试验方法.振动,冲击和类似动力学试
83、验样品的安装进行测试。测试方法:软管应满足系统随机振动适应性要求,频谱要求 5 Hz500 Hz,初始激励加速度不低于 2grms,初始时间 20min,振动方向 X、Y、Z。测评标准:样品合格,再次进行气密性测试,且满足软管压力和气密性要求。18、冲击适应性测试 测试目的:按照GB/T 2423.43-2008 电工电子产品环境试验.第 2 部分:试验方法.振动,冲击和类似动力学试验样品的安装进行测试。测试方法:连接软管应满足系统方波冲击适应性要求:峰值加速度 500m/s2,速度变化率 4.32m/s,6 个冲击方向,每个方向冲击 3次。测评标准:样品合格,再次进行气密性测试,且满足软管压
84、力和气密性要求。19、材质兼容性测试 测试目的:测试材料的兼容性。连接系统所有接触冷却工质的材 63 质应与冷却工质保持良好的相容性,不会产生腐蚀、劣化及其他理化性质的改变;连接系统材质应具备良好的耐热老化性。测试方法:塑料材质按照 GB/T11547-2008 塑料耐液体化学试剂性能测试进行冷却工质浸泡测试,橡胶材质按照GB/T1690-2010 硫化橡胶或热塑性橡胶耐液体试验方法进行冷却工质浸泡测试。测评标准:通过质量、体积、表面积等参数评估材料的兼容性测试结果是否满足要求。(五)分集水单元 分集水单元(manifold)是连接液冷冷量分配单元与液冷服务器冷板的装置,一般内置于机柜内,其功
85、能为向各层冷板均匀分配冷却液流量,并汇集吸热后流出的冷却液,通过连接管路送至液冷冷量分配单元。分集水单元测试主要包括耐压测试、焊缝工艺检测、管道清洗工艺检测、快插头插拔泄漏测试等。1、焊缝工艺检测 测试目的:验证 manifold 管路的焊缝工艺是否满足要求。测试方法:参考标准 GB50205 钢结构工程施工质量验收规范、ISO 23277-2015焊缝的无损检验、穿透试验、验收等级(ISO 23277:2015 Non-destructive testing of welds-Penetrant testing-Acceptance levels)执行。按比例进行焊接管路抽检,采 64 用射
86、线探伤、渗透探伤检查或超声波。测评标准:焊接管路焊缝无裂纹、错口、咬边、气孔等;抽样或局部射线检测的焊缝质量合格标准不应低于现行行业标准 承压设备无损检测 第 2 部分 射线检测(JB/T 4730.3)规定的级;抽样或局部超声检测的焊缝质量合格标准不应低于现行行业标准 承压设备无损检测 第 3 部分 超声检测(JB/T 4730.3)规定的级。2、管道清洗工艺检测 测试目的:验证 CDU 内不锈钢管路系统、二次管路系统、manifold 管路的清洗工艺是否满足要求。测试方法及测评标准:manifold 管路内采用内窥镜检查,单根manifold 内可见颗粒杂质不超过 5 个,则判定合格;ma
87、nifold 采用去离子水为测试介质、循环冲刷各分集水器组件 10min,冲刷分集水器后的去离子水洁净度满足 GJB420B-2005 不低于 9 级标准。3、耐压测试 测试目的:验证 manifold 的耐压性能。测试方法:manifold 测试压力设计压力的 1.5 倍。测评标准:压力数值变化设计要求。4、密封性测试 测试方法及评判标准:组装完成后按照表 12 进行高压检漏和保 65 压测试。表 12 密封性测试 测试分类 测试参数 合格判据 取样频率 高压测试 采用以下任一方式检验:氦气检验 浸水后内腔加气压1Mpa。浸水后需过温箱烘干至表面无残留水 氦气检验以氦检设备自动告警为准。浸水
88、检验以不连续冒气泡为准 全检 保压测试 压力 350Kpa,保压24H 压降小于 1.16PSI(0.08 Bar)全检 注:管路出货内带气压,压力为 0.3Bar。5、输送测试 测试目的:测试分集水单元在设计供水压力、流量工况下,各支路的流阻及流量。测试方法:分集水单元在设计供水压力与供水流量工况,提前做好支路的流阻模拟器的校准阻力(例如 0.3bar 1L/min,具体参考被测设备的设计值),测试各个支路的流量。测评标准:支路流量的最大值与最小值之差不超过最小值的 10%则为合格。66 6、快插头插拔泄露测试 测试目的:验证manifold上的快插接头在插拔过程的泄露性能。测试方法:man
89、ifold 内充液至测试压力,在快速接头下方放置白纸,不同快接头各插拔 N 次。注:具体测试液压力值、插拔次数根据设计值而定。评测标准:白纸上无液体,判定合格。7、自动排气阀排气功能 测试目的:验证自动排气阀能否自动排气,且排气过程没有水泄露。测试方法:manifold 内充液排气定压至测试压力(测试压力值根据设备设计使用工况核定);manifold 内注入空气;观测排气阀排气状况。评测标准:排气阀可以自动排气且没有泄漏,则判定通过。(六)冷却液 冷板冷却液为在冷板内部流道流动的传热工质,通过冷却液在流动过程中的热传递将热源的热量通过非直接接触的方式传递到冷量分配单元的板式热交换器,其通常由低
90、粘度,高比热,高导热,无毒性的液体工质,以及杀菌剂,防锈剂,防冻剂等添加剂共同组成。1、外观及气味检查 冷却液体的外观及气味要求及测试方法如下:67(1)冷却液体外观要求无色、透明,气味无异臭;(2)于 25 毫升比色管内加入常温下的液体。用干燥的布擦干试管外壁附着的湿气,从轴向透视观察应无浑浊。用测定外观的试样将试管缓慢加热稍有沸腾蒸汽应无异臭。2、液体密度测试 冷却液体的密度要求及测试方法如下:(1)测定温度点 20土 0.1 40土 0.1及 60土 0.1液体密度值(确证测定点应低于液体常压沸点);(2)水浴恒温加热,测试比重瓶中液体密度;(3)测试设备:比重瓶(容积 25ml50ml
91、),全浸式水银温度计(分度值 0.1),分析天平(最小显示精度 0.1 毫克)。3、液体沸点测试 冷却液体的沸点要求及测试方法如下:(1)标准大气压(101.325kPa)下液体稳定沸腾温度,要求使用液体沸点90;(2)冷凝循环环境下,同时测量气压及稳态温度。当液体温度升高时,其蒸汽压随之增加,当液体蒸汽压与大气压相等时,开始沸腾的温度为液体沸点;(3)测试设备:冷凝循环器,全浸式水银温度计(分度值0.1)。68 4、液体倾点测试 冷却液体的倾点要求及测试方法如下:(1)标准大气压(101.325kPa)下液体被冷却能够流动的最低温度,要求使用液体倾点-40;(2)将试样装在规定的试管中,加热
92、、冷却到预期的温度时,将试管倾斜 45 度经过一分钟观察液面是否移动,当液面不移动时的最高温度为测定结果;(3)测试设备、冷却器,全浸式水银温度计(分度值 0.1)。5、液体粘度 冷却液体的粘度要求及测试方法如下:(1)室温及最低使用温度下液体粘度,要求在最低使用温度下液体运动粘度80或无闪点;69(2)在设定的液体蒸发温度下,观察用火源引起试样燕蒸汽发生闪火(闪燃)现象,并修正至标准大气压(101.325kPa)下的最低温度:(3)测试设备:克利夫兰开口杯闪点测试仪 适用于闪点高于 79液体)。7、液体比热容 冷却液体的比热容要求及测试方法如下:(1)单位质量的液体升高或降低单位温度所吸收或
93、释放的热量;(2)采用步进升温扫描法,在一个小温度区间内对热流量进行积分,在所考虑的温度范围得到一系列的单独的比热容值;(3)测试设备:DSC,坩埚.8、液体热导率 冷却液体的热导率要求及测试方法如下:(1)单位时间内,每单位截面积所流过的热量除以单位距离温度变化量的负值;(2)采用稳态法,对样品施加一定的热流量,使用热流传感器测量通过样品的热流、测试样品的厚度、热板/冷板间的温度梯度,然后得出不同厚度下对应的热阻数据作直线拟合得出样品的导热系数;或采用瞬态平面热源法,将带有自加热功能的温度探头放置于样品中,测试时在探头上施加一个恒定的加热功率,使其温度上升。然 70 后测量探头本身和与探头相
94、隔一定距离的圆球面上的温度随时间上升的关系,通过数学模型拟合同时得到样品的导热系数和热扩散系数;(3)测试设备:导热系数测试仪.9、液体电导率 冷却液体的电导率要求及测试方法如下:(1)液体需要具有一定绝缘能力,要求初始液体体电阻系数300S/cm;(2)在规定温度(一般为 2025)下,测量电导池中两平行电极板间液体电导池常数与电极间电阻的比值;(3)测试设备:电导仪,电导池,恒温水浴槽。10、残留物 冷却液体中残留物要求及测试方法如下:(1)要求液体中蒸发后不可挥发物质含量500ppm;(2)50ml 液体于塌中,在指定温度完全烘干约 1 小时,干燥冷却半小时后称重;(3)测试设备:白金坩
95、埚,分析天平(最小显示精度 0.1mg)。11、酸碱度 冷却液体的酸碱度要求及测试方法如下:(1)要求液体的 PH 值为 6.58;71(2)KOH 滴定法,以乙醇溶液萃取试样中的氢离子,并加入颜色指示剂,以氢氧化钾乙醇溶液进行滴定中和,至颜色明显改变为止,换算至试样酸值浓度;(3)测试设备:冷凝循环器,微量滴定管(容积 2mL,分度精度 0.02 mL)。12、细菌及微生物 冷却液体的细菌及微生物要求及测试方法如下:(1)要求初装时液体中菌落总数2000mg/kg(特指实验动物体重),液体蒸汽20mg/L,且无适 72 用危险象形图标注;b)测试实验动物(如大鼠)短时间(24h 内)按主要接
96、触径持续暴露于受试样品后,在短期内出现的健康损害效应;c)测试方式:毒理学检测及推斯,或于 MSDS 中合规标注。(2)液体慢性(长期接触毒性)冷却液体的慢性(长期接触)毒性要求及测试方法如下:a)职业安全性要求液体允许接触浓度(以时间为权数规定的 8h每工作日、40h 每工作周的平均究许接触浓度)100 ppm;b)根据在规定的试验条件下,用现有的技术手段或检测指标未观察到任何与受试样品有关的毒性作用(通常以特异性器官反复接触毒性来表征)的最大染毒剂量或浓度 NOAEL(No Observed Adverse Effect Level),缩小一定倍数确定安全系数;c)测试方式:按主要接触途径
97、进行毒理学安全系数线性外推,或于 MSDS 中合理合规标注。(3)其它需考量的毒性要求 冷却液体其它需考量的毒性要求及测试方法如下:a)职业安全及废弃物管理要求,使用液体要求无皮肤接触,无眼接触刺激,无细胞变异影响,对水生毒害无影响;b)根据卫生部化学品毒性鉴定技术规范2005 版相关测试要求;c)测试方式:毒理学检测,或于 MSDS 中合规标注。73 14、兼容性测试及要求 冷却液体兼容性的要求及测试方法如下:(1)冷却液体兼容性测试中,试样与冷板式数据中心系统中冷却液体所接触到的材质相同,包括但不限于金属、塑料,橡胶等。要求测试后所接触材质质量分数变化不超过 5%,且体积变化不超过5%。(
98、2)取一定质量大小的材料试样,用密封容器装一定量的冷却液体,浸泡试验样品,在高温烘箱中 80下放置 7 天。对模拟测试完成后的试样进行处理。测定模拟测试处理前后试样的质量及体积变化率,取多个试样的平均值作为试验果。(3)测试设备:高温烘箱,密封容器,天平,量筒。74 四、冷板式液冷系统级测试验证技术 近年来市场上出现的冷板式液冷系统,热量负荷大部分是在服务器芯片,占比一般在 50%-80%之间,是通过液冷系统进行散热,还有一部分元器件的热量在 20%-50%,是通过其它常规风冷设备散热,在测试验证中,液冷部分的测试验证是相对比较难模拟的,风冷部分的测试验证采用传统的风冷模拟负载就能达到测试验证
99、的需求,冷板式液冷系统级的测试验证也在不断升级迭代逐渐走向成熟。早期液冷系统在测试验证的时候还没有液冷专用模拟负载,采用工装件模拟液冷系统二次侧的流体阻力、压降、流量等关键数据来判定系统是否满足设计需求,液冷系统的电气系统采用风冷模拟负载来满足电气设计负荷的压载测试,这样的测试验证不能完全模拟系统真实的带载运行。经过这两年行业内各企业的努力,市场上逐步出现了液冷专业模拟负载,液冷专业模拟负载的问世代表冷板式液冷的测试验证进入到了更高的一个层面,更能全面的模拟冷板式液冷的运行状态,比如模拟液冷系统的不同负荷率测试,25%、50%、75%、100%设计满载测试,带载情况的下冗余测试,带载情况下面的
100、故障场景测试等。电气系统也是完全按照设计需求,每架机柜、每个设计模块,每个变压器链路、每个机房的完整测试需求,进行分级测试验证。通常冷板式液冷系统都是由以下几个系统构成,在测试验证中会对冷却系统、供配电系统、设备监控系统、自动控制系统进行测试验证。75(一)冷却系统测试验证 常见的不同两种冷板式液冷散热方式,第一种如图 12,采用闭式冷却塔,服务器热量通过二次侧冷却工质借助 CDU 输送、换热至一次侧冷却水循环系统,一次侧的热量直接通过管道传递到闭式冷却塔,通过冷塔风扇再把热量传递到空气中进行换热,一次侧冷却水为闭式循环,水量的消耗比较小,一般中小型系统比较常用;第二种如图 13,采用开式冷却
101、塔,服务器热量通过 CDU 传输、换热至二次侧循环冷却水,二次侧循环冷却水采用板式换热器将热量传递至一次侧冷却水,一次侧冷却水的热量通过开式冷却塔散发至室外空气,冷却侧的水是开始循环,水的消耗相对偏大,一般中大型系统比较常用。对于炎热地区设置的液冷数据中心,如闭式冷却塔和开始冷却塔自然换热无法满足服务器供冷温度要求,则系统中需设置冷水机组进行高温、高湿天气的补充制冷。图 12 冷板式液冷冷却闭式冷塔系统原理图 76 图 13 冷板式液冷冷却开式冷塔系统原理图 由于缺少国家标准引导,早期液冷数据中心,甚至目前一些较小规模的液冷数据中心仍然在采用风冷数据中心的制冷架构(冷水机组供冷为主,供水温度采
102、用 1221的设计方案),严重削弱了液冷方案的节能优势。冷板式液冷冷却系统测试验证包括设备安装目视检查、功能测试、性能测试、设计满载压载测试及故障模拟测试等。将液冷模拟负载接入液冷系统中,可最大限度的模拟实际运行工况,测试冷却塔、水泵、板式换热器、CDU 等设备的功能、性能,还可以测试设备故障、环网故障、极限温升等故障场景的模拟,并对液冷系统的群控逻辑进行单点测试、一键启停测试、自动加减机测试、故障切机、冗余测试等。1、冷却塔 冷却塔的安装检查包括以下内容:(1)安装位置检查:检查冷却塔是否按照设计要求安装在正确的位置,确保其能够获得充足的通风和排放热量的空间。77(2)基础检查:检查冷却塔的
103、基础是否稳固,能够承受冷却塔的重量和运行时的振动。(3)输水管道检查:检查输水管道的连接是否牢固、无渗漏,并且管道内部无异物阻塞。(4)电气接线检查:检查冷却塔的电气接线是否符合安全要求,接地是否良好。(5)风机检查:检查冷却塔的风机是否完好,并且能够正常运转。(6)喷头检查:检查冷却塔的喷水喷头是否正常工作,水流均匀,喷水量符合设计要求。(7)塔填料检查:检查冷却塔内部填料的安装是否正确,填料是否完整无缺损。(8)冷却水泵检查:检查冷却塔的冷却水泵是否正常工作,水流量是否符合设计要求。(9)控制系统检查:检查冷却塔的控制系统是否正常运行,各个传感器是否准确反映冷却塔运行状态。(10)安全设施
104、检查:检查冷却塔是否配备了必要的安全设施,例如溢流管、排气管等。需要注意的是,以上内容仅为常见的冷却塔安装检查内容,具体的检查内容还应根据实际情况进行调整和补充。同时,在进行安装检查时,需要遵守相关的安全操作规程。78 2、板式换热器 板式换热器的安装检查包括以下内容:(1)安装位置:检查板式换热器的安装位置是否符合要求,包括空间大小、通风情况、周围设备的安全距离等。(2)支撑结构:检查板式换热器的支撑结构是否牢固、平稳,是否符合设计要求。(3)连接管道:检查板式换热器的进出口管道连接是否正确、紧密,是否存在泄漏或者松动等问题。(4)密封结构:检查板式换热器的密封结构是否完好,是否存在损坏、老
105、化或者松动等问题。3、冷水机组(如有)冷水机组的安装检查包括以下内容:(1)安装位置检查:检查冷水机组的布置位置是否符合设计要求,并且与周围空间、通风口等是否有合适的距离。(2)安装基础检查:检查冷水机组的支撑基础是否牢固、平整,并且符合冷水机组的重量和振动要求。(3)电气系统检查:检查冷水机组的电气系统接线是否正确、规范,并且是否符合相关安全要求。(4)冷凝水系统检查:检查冷水机组的冷凝水管道、排水口等是否安装正确,并且是否能够有效排除冷凝水。(5)冷却系统检查:检查冷水机组的冷却水管道、水泵、冷却 79 塔等是否安装正确,并且是否能够正常供冷。(6)运行试验检查:进行冷水机组的运行试验,检
106、查其是否能够正常运行,并且是否满足设计要求。(7)安全保护装置检查:检查冷水机组的安全保护装置是否安装完好,并且能够正常工作,保证运行的安全性。(8)相关管道连接检查:检查冷水机组与相关管道的连接是否紧固、密封,并且是否符合设计要求。以上是冷水机组安装检查的一般内容,具体检查内容还需要根据具体冷水机组的类型、规模和安装要求来确定。4、CDU CDU(冷量分配单元)的安装检查内容和测试方法有以下几个方面:(1)安装位置检查:确保 CDU 安装位置符合设计和规范要求。检查 CDU 与其他设备(如冷却设备、机柜等)之间的布局和空间是否充足,便于维护和操作。(2)电源连接检查:检查 CDU 与冷却设备
107、之间的冷却管路连接是否正确、稳固,并无漏水现象。验证管路和接头密封良好,防止泄漏和系统故障。(3)冷却介质填充检查:80 确保 CDU 的冷却介质按照设计要求正确填充。检查冷却介质的质量和浓度,确保其符合冷却性能和设备保护的要求。(4)传感器和监测设备检查:检查 CDU 上的传感器和监测设备是否正确安装和连接。验证传感器的准确度和可靠性,确保其能够实时监测冷却液的流量、温度和压力等参数。(5)控制系统检查:检查 CDU 的控制系统是否正常配置和连接。测试控制系统的功能和操作,包括温度控制、流量调节和报警功能等。(6)安全设施检查:检查漏水探测器、电气保护装置等,确保其能够正常工作和提供必要的保
108、护。具体的安装检查和测试方法可能会随着设备型号和厂商的不同而有所差异。在进行 CDU 的安装检查和测试之前,建议参考 CDU 的安装手册、设备说明书和相关标准,以获取详细的操作指导。同时,遵循安全操作程序和资质要求,确保检查和测试过程安全可靠。5、循环泵 循环泵的安装检查包括以下内容:(1)安装位置:检查水泵的安装位置是否符合要求,包括空间 81 大小、通风情况、周围设备的安全距离等。(2)支撑结构:检查水泵的支撑结构是否牢固、平稳,是否符合设计要求。(3)连接管道:检查水泵的进出口管道连接是否正确、紧密,是否存在泄漏或者松动等问题。(4)电气连接:检查水泵的电气连接是否正确、牢固,是否符合设
109、计要求。(5)泄漏检查:检查水泵是否存在泄漏现象,包括密封件、管道等部分。(6)水压测试:检查水泵的水压是否符合设计要求。6、管道及阀门 管道与阀门的安装检查包括以下内容:(1)安装位置:检查管道和阀门的安装位置是否符合要求,包括空间大小、通风情况、周围设备的安全距离等。(2)支撑结构:检查管道和阀门的支撑结构是否牢固、平稳,是否符合设计要求。(3)连接管道:检查管道和阀门的连接是否正确、紧密,是否存在泄漏或者松动等问题。(4)密封结构:检查管道和阀门的密封结构是否完好,是否存在损坏、老化或者松动等问题。(5)清洗检查:检查管道和阀门内部的管道和设备是否清洗干 82 净,是否存在污垢或者沉积物
110、。(6)防腐处理:检查管道和阀门的防腐处理是否符合要求,是否存在腐蚀或者锈蚀等问题。(二)功能测试 1、冷却塔 数据中心冷却塔的功能测试通常包括以下内容:(1)温度测试:测试冷却塔的进出水温度是否在正常范围内。可以使用温度计等工具来测量冷却塔的进出水温度,并与正常范围进行比较。(2)压力测试:测试冷却塔的进出水压力是否在正常范围内。可以使用压力表等工具来测量冷却塔的进出水压力,并与正常范围进行比较。(3)流量测试:测试冷却塔的流量是否在正常范围内。可以使用流量计等工具来测量冷却塔的流量,并与正常范围进行比较。(4)故障转移测试:测试备用冷却塔是否能在主冷却塔故障时正常工作。可以模拟主冷却塔故障
111、,然后观察备用冷却塔是否能正常工作。(5)清洗测试:测试冷却塔的清洗效果是否良好。可以使用清洗液和清洗工具将冷却塔清洗干净,并观察其清洗效果是否良好。(6)噪音测试:测试冷却塔是否产生异常噪音。可以使用声级计等工具来测量冷却塔产生的噪音,并与正常范围进行比较。83(7)风扇测试:测试冷却塔的风扇是否正常工作。可以使用风扇测试仪等工具来测试冷却塔的风扇是否正常工作。(8)风向测试:测试冷却塔的风向是否正确。可以使用烟雾等工具来检测冷却塔的风向是否正确。(9)冷却水处理剂测试:测试冷却塔中的冷却水处理剂是否符合要求。可以使用水质检测仪等工具来检测冷却水处理剂的浓度和质量,并与要求进行比较。2、板式
112、换热器 数据中心板式换热器的功能测试通常包括以下内容:(1)温度测试:测试板式换热器的进出口温度是否在正常范围内。可以使用温度计等工具来测量板式换热器的进出口温度,并与正常范围进行比较。(2)压力测试:测试板式换热器的进出口压力是否在正常范围内。可以使用压力表等工具来测量板式换热器的进出口压力,并与正常范围进行比较。(3)流量测试:测试板式换热器的流量是否在正常范围内。可以使用流量计等工具来测量板式换热器的流量,并与正常范围进行比较。3、冷水机组 数据中心冷水机组的功能测试通常包括以下内容:84(1)启动测试:测试冷水机组是否能正常启动。可以通过手动或自动控制系统启动冷水机组,并观察其启动是否
113、正常。(2)流量测试:测试冷水机组是否能提供所需的冷却水流量。可以使用流量计等工具来测量冷水机组提供的流量,并与所需流量进行比较。(3)压力测试:测试冷水机组是否能提供所需的冷却水压力。可以使用压力表等工具来测量冷水机组提供的压力,并与所需压力进行比较。(4)故障转移测试:测试备用冷水机组是否能在主冷水机组故障时正常工作。可以模拟主冷水机组故障,然后观察备用冷水机组是否能正常工作。(5)关闭测试:测试冷水机组是否能正常关闭。可以通过手动或自动控制系统关闭冷水机组,并观察其关闭是否正常。(6)自动化测试:测试冷水机组的自动化控制系统是否能正常工作。可以使用模拟器等工具来模拟各种情况,以确保自动化
114、控制系统能够正确地响应和处理这些情况。(7)温度测试:测试冷水机组的出水温度是否在正常范围内。可以使用温度计等工具来测量冷水机组的出水温度,并与正常范围进行比较。(8)噪音测试:测试冷水机组是否产生异常噪音。可以使用声级计等工具来测量冷水机组产生的噪音,并与正常范围进行比较。(9)漏水测试:测试冷水机组和管道是否存在漏水情况。可以 85 使用漏水检测器等工具来检测冷水机组和管道是否存在漏水情况。这些测试有助于检测冷水机组系统的各种问题,并确保其能够在正常运行时提供高效和可靠的服务。4、CDU 数据中心 CDU(冷量分配单元)的功能测试通常包括以下内容:(1)启动测试:测试 CDU 是否能正常启
115、动。可以通过手动或自动控制系统启动 CDU,并观察其启动是否正常。(2)流量测试:测试 CDU 是否能提供所需的冷却水流量。可以使用流量计等工具来测量 CDU 提供的流量,并与所需流量进行比较。(3)压力测试:测试 CDU 是否能提供所需的冷却水压力。可以使用压力表等工具来测量 CDU 提供的压力,并与所需压力进行比较。(4)故障转移测试:测试备用 CDU 是否能在主 CDU 故障时正常工作。可以模拟主 CDU 故障,然后观察备用 CDU 是否能正常工作。(5)关闭测试:测试 CDU 是否能正常关闭。可以通过手动或自动控制系统关闭 CDU,并观察其关闭是否正常。(6)温度测试:测试 CDU 的
116、出水温度是否在正常范围内。可以使用温度计等工具来测量 CDU 的出水温度,并与设备参数值进行比较。(7)噪音测试:测试 CDU 是否产生异常噪音。可以使用声级计等工具来测量 CDU 产生的噪音,并与设备正常值进行比较。86 5、循环泵 数据中心水泵功能测试通常包括以下内容:(1)启动测试:测试水泵是否能正常启动。可以通过手动或自动控制系统启动水泵,并观察其启动是否正常。(2)故障转移测试:测试备用水泵是否能在主水泵故障时正常工作。可以模拟主水泵故障,然后观察备用水泵是否能正常工作。(3)关闭测试:测试水泵是否能正常关闭。可以通过手动或自动控制系统关闭水泵,并观察其关闭是否正常。(4)温度测试:
117、测试水泵的温度是否在正常范围内。可以使用红外测温仪、点温枪等工具来测量水泵的温度,并与正常范围进行比较。(5)噪音测试:测试水泵是否产生异常噪音。可以使用声级计等工具来测量水泵产生的噪音,并与正常范围进行比较。(6)震动测试:测试水泵是否存在异常震动。可以使用振动计等工具来测量水泵的震动情况,并与正常范围进行比较。这些测试有助于确保数据中心的水泵系统能够在需要时正常运行,并提供高效和可靠的服务。6、管道及阀门 数据中心管道与阀门的功能测试通常包括以下内容:(1)管道测试:测试管道是否能够传输所需的流量和压力。可以使用流量计和压力表等工具来测量管道的流量和压力,并与所需的 87 数值进行比较。(
118、2)阀门测试:测试阀门是否能够正常打开和关闭。可以通过手动或自动控制系统来控制阀门的开关,并观察其是否正常运作。(3)漏水测试:测试管道和阀门是否存在漏水情况。可以使用漏水检测器等工具来检测管道和阀门是否存在漏水情况。(4)温度测试:测试管道和阀门的温度是否在正常范围内。可以使用温度计等工具来测量管道和阀门的温度,并与正常范围进行比较。(5)压力测试:测试管道和阀门是否能承受所需的压力。可以使用压力测试仪等工具来测试管道和阀门的承压能力,并与所需的数值进行比较。(6)管道故障测试:测试备用管道和阀门是否能在主管道和阀门故障时正常工作。可以模拟主管道和阀门故障,然后观察备用管道和阀门是否能正常工
119、作。这些测试旨在确保数据中心的管道和阀门系统能够在需要时正常运行,并提供所需的流量、压力和温度控制。(三)性能验证 冷板式液冷系统验证测试设备选择液冷模拟负载,液冷模拟负载作为末端负载来测试电源链路的连通性以及可靠性、输电线路的安全性、电池等储电设施的可用性,配合各种电源的切换;液冷负载可用于模拟机房真实服务器实际发热量和用电情况,检测机房液冷效果和机房线路用电安全,为机房系统的可用性提供数据基础和测试手段。88 为保障液冷模拟负载测试数据的精确性,需将其送至专业计量机构进行校准。具体参见第三章第一节液冷模拟负载校准章节描述。1、冷却塔 冷却塔性能测试主要包括:(1)手动和自动启动功能验证;(
120、2)风机变速控制:根据不同的水温要求进行变速的功能检查;变频控制高速低速运行测试;(3)检查设备高水位、低水位、加水、排水、溢水等系统检测;(4)风机运行振动和噪音检查,风机皮带松紧度检查;(5)BA 监控与设备之间的数据比对、校验、控制测试。2、板式换热器 功能测试:包括进出水口压差、进水口温差(冬季)、是否漏水等检查;冷水机组与板式换热器切换测试:板式换热器与冷水机组、冷却塔之间的切换。3、冷水机组(1)机组启动与状态检查:a)启动时间、断电重新自启;b)加减载运;c)油温、油压、蒸发和冷凝压力等运行参数检查。89(2)冷水组故障测试:a)模拟冷水机组故障时的报警及保护,以及 BMS 的显
121、示;b)BA 监控与设备之间的数据比对、校验、控制测试。4、CDU 记录在一次侧和二次侧不同流量的对应关系、CDU 的排热能力及换热器换热温差等。5、循环泵 循环泵性能测试主要包括:(1)手动和自动启动功能验证;(2)水泵变速控制:根据不同的水温或压力要求进行变速的功能检查;(3)变频控制高速低速运行测试;(4)水泵运行振动和噪音检查:满载运行时的振动和噪音检查;(5)BA 监控与设备之间的数据比对、校验、控制测试。6、管道及阀门 数据中心管道与阀门的性能测试通常包括以下内容:(1)验证电动阀门位置是否正确,状态、动作是否正常;(2)管道流量计、水表等仪表仪器的测量功能、精度是否满足要求;90
122、(3)补水、泄水控制过程下,管道通水能力、阀门动作是否正常;(4)电动阀、远程仪表接入监控系统测试。(四)供配电系统测试验证 1、电气系统测试验证概述 数据中心电气系统,不仅承担着为 IT 设备以及动力支撑设备提供满足用电设备电能质量要求的电力供应,同时也为数据中心内照明、消防、监控等系统提供电力支撑。数据中心电气系统设计不尽相同,测试验证应该根据具体的设计内容,从容量、功能、冗余、效率、可维护性等几方面来进行验证。2、电气系统测试验证要点 测试对象 测试要点 末端配电系统 列头柜 开关操作。列头柜报警及开关状态与精密配电单元核对,以及与电力监控状态核对。列头柜路由核对。整定值核对。仪表监测功
123、能核对。仪表精度核对。91 100%负载率下压载测试,检查热点(不少于2H)。PDU 100%负载率下压载测试,检查热点(不少于 2H)。相序检测。配电箱组件安装检查,内部走线检查。操作开关。照明系统 检查开关与灯具,开关与配电箱出线回路对应关系。各区域的照度检测。防雷接地系统 机柜及设备接地电阻值测试。等电位接地系统 检查设备等电位接地。接地电阻测试。零地电压测试。测试完成且合格后,电气系统应进行联合调试,根据设计资料,验证电气系统不同工况的切换逻辑、电气联锁逻辑、柴发并机逻辑、柴发加减机逻辑等,实验期间应与监控系统核对开关状态,电压、电流等监测数据,以及告警信息等。(五)设备监控系统测试验
124、证 1、设备监控系统测试验证概述 液冷数据中心监控系统主要是对机房所有设备及环境进行集中 92 监控和管理,对液冷数据中心的运行、维护起着关键性作用。监控对象包括:液冷监控系统、动力系统、环境系统、安防系统、网络系统、消防系统等机房各子系统。其中,液冷监控系统由冷板监控、冷量分配单元监控、管路系统监控、冷却工质监控、冷源监控 5 个功能模块组成。液冷监控系统的测试验证工作,主要是验证系统相关设备的性能和运行参数是否符合设计要求,验证系统作为一个整体是否能满足运行要求并与其他系统匹配运行,验证监控系统是否能正确的反映被监控设备的工作状态、运行参数、历史数据等。2、设备监控系统测试验证要点 测试对
125、象 测试要点 冷板监控模块 水冷却工质的检漏触发时间和液体量检测。监控系统环境稳定性测试。冷量分配单元监控模块 核对远程监控设备和本地控制器的参数及状态。在不同负载率下(50%、75%、100%)调节水泵转速,核对本地控制器及远程控制设备运行参数/状态的实时性。控制器并机运行时,验证控制器之间的主备切换功能及逻辑。管路系统监控模块 核对远程监控设备和本地控制器是否能够感知管路阀门的实时状态变化。93 检测供/回液温度是否符合技术要求。检测冷却工质运行参数是否能正常显示。冷却工质监控模块 核对冷却工质的 PH 值、酸值、电导率、粘度、冰点、含水量、浊度、颗粒物浓度、腐蚀元素含量、有机物污染物、缓
126、蚀剂浓度、介电强度、菌落数等与监控显示内容的一致性。冷源监控 核对远程监控设备和本地控制器的参数及状态。设置冷源参数,观察是否正常动作及运行。核对冷源供回水温差,是否满足设计要求。(六)自动控制系统 1、自动控制系统测试验证概述 液冷控制系统监控整个液冷冷却系统的运行状态,并且通过参数设定和控制逻辑,能够使液冷冷却系统运行在预设功能状态,为使服务器正常运行提供恒定的温湿度环境。通常冷板式数据中心的自动控制系统,由一次侧控制系统、二次侧控制系统、群控系统组成。系统工作模式分为本地控制方式和远程控制方式两种,系统运行方式分为手动运行方式和自动运行方式两种。自动控制系统的测试验证工作,主要是验证一次
127、侧、二次侧系统、群控系统的控制逻辑是否满足设计要求,控制器的冗余切换功能是否满足设计要求,以及控制系统的供电电源系统是否满足设计要求。94 2、自动控制系统测试验证要点 测试对象 测试要点 水 泵 控 制 逻 辑(一次侧)远程开关机动作逻辑,是否符合设计要求。EDU 切换时间及切换造成的流量波动,是否满足设计要求。EDU 的手动切换功能。循环系统的低流量、低压差报警功能。控制器故障模拟(验证主备 EDU 的切换功能、备用 EDU 启动成功/失败的告警功能、以及故障模式下 EDU 是否进入安全运行模式)。EDU 的轮询功能。验证二次服务器所需流量逻辑控制优先顺序是否为二次侧变频泵二次侧旁通球阀。
128、水 泵 控 制 逻 辑(二次侧)远程开关机动作逻辑,是否符合设计要求。循环系统的低流量、低压差报警功能。CDU 切换时间及切换造成的流量波动,是否满足设计要求。CDU 的手动切换功能。控制器故障模拟(验证主备 CDU 的切换功能、备用 CDU 启动成功/失败的告警功能、以及故障模式下 CDU 是否进入安全运行模式)。95 CDU 的轮询功能。CDU 从机的水泵运行频率是否和主机一致。CDU 报警等级能否分级。温度控制逻辑 验证安全模式下,一二次泵是否处于工频运行状态,一二次阀门是否保持最大开度。验证节能模式下,控制系统是否能够依据二次侧供液温度实时调节一次侧阀门开度和水泵频率。验证节能模式下,
129、一次泵频率是否随主路电动球阀调节而调节。验证节能模式下一次侧温控调节优先顺序是否是风机喷淋泵一次侧旁通电动球阀。验证一次侧冷却塔风机变频运行能力,以及喷淋泵的启动和关闭逻辑。验证一次侧旁通阀的动作逻辑,是否满足设计要求。防凝露控制逻辑 控制系统温度调控逻辑应确保系统二次侧供液温度高于室内环境露点温度 2以上,避免服务器内冷板等管路出现凝露现象 电源切换测试 检查自控设备是否有不间断电源供电。切换控制电源 ATS,验证水泵、风机是否直降速不停机,验证 CDU 是否有断电告警。96(七)冷板式液冷项目测试验证案例分享 某数据中心,设计有 2 个冷板式液冷机房,每个液冷机房设计100架机柜,单机架设
130、计功率为32kW(液冷部分负荷功率为22kW),液冷冷却部分采用一次闭式循环双供双回系统,二次系统共 5 个单独模组、单模组采用环路设计 20 个机柜,风冷部分负荷采用风墙对末端负荷进行冷却,该项目测试验证中,机房按设计需求全部安装液冷模拟负载,对该液冷机房的液冷系统进行多场景真实带载测试、液冷系统的冗余测试、液冷系统故障模拟测试、液冷群控系统单点测试、群控逻辑测试、群控逻辑故障模拟测试等。测试过程中发现影响系统安全运行的问题,如多台 CDU 之间的备份采用冷备,CDU 在切换时候会出现短时间断流情况,断流时间大概 20S,系统业务中断风险很大。图 14 北方某数据中心冷板式液冷系统测试验证
131、五、冷板式液冷项目级测试验证技术(一)安全可靠性 冷板式液冷项目按照实施内容可划分芯片级、服务器级、机架级 97 和数据中心级,按照所采用制冷技术又可分为混合冷却冷板式液冷和全液冷却冷板式液冷,不同类型的冷板式液冷项目在一次侧、二次侧侧链路的架构和具体构成有所区别,其安全可靠性测试验证可按照整体架构的安全可靠性、一次侧链路的安全可靠性以及二次侧侧链路安全可靠性进行,A 级数据中心的冷板式液冷系统应按容错系统配置;B 级数据中心的冷板式液冷系统应按冗余系统配置;C 级数据中心的冷板式液冷系统应按基本需求配置。测试验证的具体内容应根据项目的具体内容进行调整,此外,在项目的不同阶段进行的测试验证其侧
132、重点也不同,如规划设计阶段应重点针对方案进行论证,而在实施阶段应侧重各设备、系统参数的测试验证。1、整体架构 整体架构全链路应按照项目的等级具有对应的冗余容错配置,包括一次侧(含不间断制冷系统)、二次侧循环系统,混合冷却架构还应对风冷系统架构进行测试验证。图 15 冷板式液冷整体链路图 98 2、一次侧系统(1)概述 一次侧链路的安全可靠性测试验证包括冷源设备、传输系统以及换热器。冷板式液冷一次侧冷源可根据项目所在地的气象环境条件采用机械制冷系统或自然冷却系统,机械制冷系统包括风冷冷冻水系统和水冷冷冻水系统;冷板式液冷一次侧自然冷却系统主要指不采用压缩机制冷的冷源系统,主要有开式冷却塔、闭式冷
133、却塔、间接蒸发冷却塔、干冷器以及具有水量和温度稳定的江水(湖水、水库)直接供冷系统。图 16 冷板式液冷整体链路图(一次侧江水自然冷却)(2)冷源设备 冷源采用机械制冷系统时,安全可靠性测试验证应包括对统设计总冷量需求、冷机额定制冷量、冷塔额定散热量、蓄冷量、冗余值以及进出水温度进行测试验证,确保冷源设备的可用性,冷源设备供电条件应满足项目的等级要求。一次侧自然冷却冷源采用开式冷却塔时,应提供避免其后端冷却 99 换热器结垢的保障措施。冷源系统具备不间断制冷功能时,还应对不间断制冷系统进行可靠性测试验证。(3)传输系统 传输系统的安全可靠性测试验证包括泵系统和管道阀门系统,泵系统包括冷却泵和冷
134、冻泵,需要对其杨程流量进行测试验证,泵系统和电动阀门的供电条件应满足项目的等级要求。(4)换热器 一次侧换热器一般采用板式换热器,需要对其换热面积、工作压力、工作温度、板片材质、换热板片厚度、换热板片间距、流体流速、进出口温度、对数温差、传热系数及压降等性能参数进行测试(审核)和验证。(5)水质 为防止一次侧循环系统发生水垢沉积、腐蚀、藻类和微生物滋生,还应对循环水和补充水的水质进行检测,检测指标包括浊度、pH 值、电导率、钙硬度、总硬度、总铁、氯离子、氨氮、COD 以及细菌总数等。3、二次侧系统 二次侧循环系统安全可靠性测试验证范围包括冷却工质、冷板、冷量分配单元、分集水单元、循环泵及快换接
135、头等,具体内容参考第三、第四章节的相关内容。100(二)能源利用效率 测试联调期间应复核数据中心的 PUE 及 WUE 值,PUE 及 WUE宜符合对应时段设计参计算值。1、水资源利用效率(WUE)冷板式液冷数据中心一次侧大部分采用普通的自来水工质,二次侧优先采用纯水、乙二醇溶液等特殊工质。因此,冷板式液冷数据中心的水资源消耗量较大,冷板式液冷数据中心的 WUE 水平成为能源资源利用的重要衡量指标。选用干冷器作为冷源的冷板式液冷数据中心,一次侧基本没有水资源的消耗,二次侧水资源的消耗与二次侧管路系统的工艺水平等可靠性、运维精细化管理水平有关,因为二次侧本身作为闭式系统,对水的消耗很有限。而大部
136、分冷板式液冷数据中心会选用闭式冷却塔作为冷源,闭式冷却塔对水资源的消耗本身对比开式冷却塔会少一些、同时也可以通过控制手段达到一些节水的效果。2、冷板式液冷系统电能利用效率(1)PUE 与 CLF 数据中心电能利用效率(PUE)为数据中心总能耗与 IT 设备总能耗之比,即:101 数据中心总能耗包括 IT 设备能耗、制冷系统能耗、配电系统能耗以及占比较小的其他能耗,因此将上式中分子按照上述能耗组成分解后即可得到下列系数:制冷负载系数(Cooling Load Factor,CLF):数据中心中制冷设备耗电与 IT 设备耗电的比值。供配电负载系数(Power Load Factor,PLF):数据
137、中心中供配电系统耗电与 IT 设备耗电的比值。其他负载系数(Other Load Factor,OLF):数据中心除 IT 负载、制冷设备及供配电设备之外的系统或设备损耗(如监控、安防、电梯)与 IT 设备耗电的比值。2017 年以来,国家和地方政府对数据中心能效要求逐年趋严,因此数据中心行业对节能降耗的重视程度也随之增加,由于供配电部分的能效提升空间有限,因此提升制冷系统能效,降低制冷负载系数(CLF)成为建设绿色节能数据中心的核心目标。(2)冷板式液冷系统制冷负载系数(CLF)冷板式液冷系统的数据中心(或数据中心局部区域)制冷负载系数 CLF 包括一次侧循环制冷负载系数 CLF1 和二次侧
138、制冷负载系数CLF2,即 CLF=CLF1+CLF2,其中 CLF1 与数据中心所在区域的气候环境条件及二次侧冷却架构密切相关,因此在给定区域建设冷板式液冷系统项目时,选择合适的二次侧冷却架构成为影响制冷负载系数CLF 的关键因素。按照由 Intel、百度、腾讯、运营商等联合发布的冷板液冷系统 102 设计参考对二次侧冷却方式的描述,二次侧冷却方式可分为混合冷却和全液冷却,其中全液冷却指的是将所有元器件产生的热量全部通过冷板液冷方式导出;混合冷却指同时使用风冷和冷板液冷的方式将热量导出(这里需要指出的是,原文将液冷背板门也归属在液冷范畴,我们认为这有可能与冷板液冷概念发生混淆,且背板门通过冷却
139、服务器热空气实现换热,因此也可以归并到混合冷却的风冷范畴)。全液冷却的冷板式液冷系统二次侧的冷却液供液温度在 40左右,所需一次侧冷却水供水温度为冷却液供液温度减去趋近温度(3-10),该温况的冷却水在全国大部分地区均可以通过冷却塔即可供给而无需压缩机制冷,因此一次侧能效较高,CLF1 较低,但冷板式负载侧的成本较高。混合冷却模式下高热密度元器件使用液冷冷却,低热密度元件使用风冷冷却,风冷部分通常需要制备 20以下的冷液给近端风冷末端,因此大多数地区夏季气候时间依然需要压缩机制冷,因此此模式下一次侧能效较低,CLF1 较高,二次侧架构较为复杂。值得注意的是,在不同的气候环境条件下,混合冷却模式
140、下一次侧系统可以借助自然冷却系统进行优化,自然冷却是指在室外气象条件或环境条件允许的情况下,利用室外空气的冷量或江河湖水的深层冷水的冷却过程。混合冷却一次侧系统可以采用机械制冷结合自然冷却系统进行设计,该模式有多种架构,如冷机+板换、江水冷却+冷机+间接蒸发冷却、冷机+间接蒸发冷却+梯级利用、氟泵+间接蒸发冷却等等。103 在实际应用中,液冷系统一次侧冷源形式需结合二次侧末端水温需求和项目地室外气候环境条件确定,一个具有普遍性的结论是:冷板式液冷系统中液-液换热系统占比越高,冷却系统 CLF 越低,数据中心的能效水平更高。(三)冷板式液冷改造 由风冷数据中心改造成为的液冷数据中心,应核实荷载值
141、是否满足承重要求,根据建筑抗震鉴定标准GB50023 的有关规定进行抗震鉴定。1、服务器级改造 对原有风冷服务器进行加装冷板改造,改造后可以用冷却液带走大部分服务器的热量,剩余热量由原有精密空调以风冷冷却形式带走。改造内容含配电、布设管路、增加冷却液流量分配单元等内容,并同步配套漏液监测、堵塞等监控系统。图 17 服务器冷板内部简图 104 图 18 冷板式液冷典型系统原理图 1 2、机柜级改造 1、冷板式液冷机柜改造+保留原有精密空调 图 18 所示,对原有风冷 IT 机柜进行结构改造,改造后可以在 IT机柜内布置冷板式液冷服务器,改造后的液冷机柜带有快速接头、manifold 等液冷管道配
142、件;液冷机柜内的服务器发热量绝大部分由液冷冷却液带走,剩余热量由精密空调以风冷冷却形式带走。改造内容含配电、布设管路、增加冷却液流量分配单元、主干分配管网等,并同步配套漏液监测、堵塞等监控系统。2、冷板式液冷机柜改造+水冷背门 图 19 所示,对原有风冷 IT 机柜进行结构改造,改造后可以在 IT机柜内布置冷板式液冷服务器,改造后的液冷机柜带有快速接头、manifold 等液冷管道配件,同时为每个机柜配置水冷背门;液冷机柜内的服务器发热量绝大部分由液冷冷却液带走,剩余热量由水冷背门以风冷冷却形式带走。改造内容含配电、布设管路、增加冷却液流 105 量分配单元、主干分配管网、增加水冷背门等,并同
143、步配套漏液监测、堵塞等监控系统。图 19 冷板式液冷典型系统原理图 2 六、总结 随着近几年液冷数据中心的发展,液冷系统的测试验证也随之成为项目的标准交付流程中的重要环节,液冷系统测试验证交付需求也在不断迭代更新,据相关数据统计预测,保守来看,2025 年中国冷板式液冷数据中心市场规模将突破 700 亿元。并且国内数据中心检测单位粗略统计,截止至 2022 年 12 月底,经测试验证的冷板式液冷数据中心机架总数已突破万架,测试完成交付的总功率超过300MW。虽然行业内冷板式液冷测试验证初具规模,但是由于行业标准的缺失,极大地限制了液冷数据中心的发展,尽管近年来部分企业和协会推出了部分液冷细分领
144、域标准,但是液冷产品的质量控制、系统设计水平等仍然参差不齐,液冷产品厂商、集成商处于各自为战 106 的状态。因此,需要制定科学且完备液冷技术产品和系统相关的设计、实施、测试验证、运行维护等全生命周期标准,对发热设备和器件、冷却液体、液冷设备、设计实施、测试验收及运维等各个方面进行统一的要求,以此提高液冷技术应用的标准化程度,促进厂商之间的技术交流和对话,规范液冷市场健康发展,为数据中心液冷系统的大规模应用创造条件,实现液冷数据中心在高可靠性的基础上最大化的发挥其能效优势,服务数据中心高质量发展。107 中国通信工业协会数据中心委员会 地 址:北京市海淀区中关村南大街 31 号神舟大厦 5 层 电 话: 网 址: