《通信行业数字经济“算力网络”系列9:AI推动液冷从0到1产业链共振迈入新技术周期-230616(32页).pdf》由会员分享,可在线阅读,更多相关《通信行业数字经济“算力网络”系列9:AI推动液冷从0到1产业链共振迈入新技术周期-230616(32页).pdf(32页珍藏版)》请在三个皮匠报告上搜索。
1、 敬请阅读末页的重要说明 证券研究报告|行业深度报告 2023 年 06 月 16 日 推荐推荐(维持)(维持)数字经济“算力网络”系列数字经济“算力网络”系列 9 9:TMT 及中小盘/通信 本篇报告主要分析了当前本篇报告主要分析了当前 IDC 液冷液冷产业链各环节的液冷技术储备产业链各环节的液冷技术储备及进展情及进展情况况。我们认为,随着算力需求的持续提升,数据中心各环节加速布局液冷技术。我们认为,随着算力需求的持续提升,数据中心各环节加速布局液冷技术以应对功耗增长、以应对功耗增长、PUE 监管趋严,并提升整体机房运营效率。随着液冷渗透率监管趋严,并提升整体机房运营效率。随着液冷渗透率的快
2、速提升,将为液冷的快速提升,将为液冷温控温控市场带来市场带来百亿级百亿级增量增量订单订单,维持“推荐”投资评维持“推荐”投资评级级。后摩尔定律时代芯片算力与功耗同步大幅提升,后摩尔定律时代芯片算力与功耗同步大幅提升,CPU、GPU 配备方案产配备方案产品。品。Intel、NVIDIA 为首的主流 CPU、GPU 厂商选择加装冷却器、对接液冷系统,实现芯片的液冷散热。当前,Intel 已与其合作伙伴共同设计冷板式液冷解决方案、并通过自研、合作模式开展服务器浸没式液冷研究;2022 年 5月,NVIDIA 宣布其将在 A100、H100 系列产品中引入直接芯片液冷技术,于 A100 80GB PC
3、Ie 尾部安置接口,以对接液冷系统。服务器层面,冷板式液冷对服务器整体改动较小,浸没式液冷对于服务器本服务器层面,冷板式液冷对服务器整体改动较小,浸没式液冷对于服务器本身要求较高。身要求较高。冷板式液冷主要通过加装液冷模块,将热量间接传递给冷却液,而浸没式液冷对于服务器本身设计及浸没腔体都有较高要求,中科曙光运用刀片服务器形式构建浸没式液冷系统,为行业提供有效思路。当前,随着算力需求持续提升,AI 服务器渗透率持续走高,国内主流服务器厂商中科曙光、中兴通讯、紫光股份、浪潮信息等皆积极布局服务器液冷解决方案,以满足高性能计算、大模型训练等高算力场景的实际需求。第三方第三方 IDC 企业、互联网厂
4、商、运营商等持续推进液冷数据中心改造与建企业、互联网厂商、运营商等持续推进液冷数据中心改造与建设。设。当前主流第三方 IDC 厂商为应对数据中心单机柜密度提升,开始逐步交付液冷机柜、构建液冷数据中心集群。互联网厂商方面,阿里、京东、华为、百度等与产业链玩家等共同研发液冷技术,加速液冷数据中心布局。三大运营商将采取“技术验证-规模试验-领先标杆”的渐进模式构筑自身液冷生态链,解耦交付方案将在液冷规模化发展过程中展现明显优势。市场空间测算:市场空间测算:预计 2025 年国内 IDC 液冷市场规模将达到 132.8 亿元,其中 AI 服务器液冷市场规模达 100 亿元、通用服务器液冷市场规模达 3
5、2.8 亿元;预计 2028 年国内 IDC 液冷市场规模将达到 250 亿元,其中 AI 服务器液冷市场规模达 212 亿元、通用服务器液冷市场规模达 37.7 亿元;产业链标的梳理:产业链标的梳理:(1)国内液冷温控解决方案供应商打开液冷 0-1 市场空间,建议关注:【英维克】、【高澜股份】、【同飞股份】(中小盘联合覆盖)、【申菱环【英维克】、【高澜股份】、【同飞股份】(中小盘联合覆盖)、【申菱环境】(家电组覆盖)、境】(家电组覆盖)、【佳力图】、【依米康】【佳力图】、【依米康】、【网宿科技】、【网宿科技】、【川润股【川润股份】份】(机械组机械组覆盖)覆盖)、【银轮股份】【银轮股份】(汽车
6、汽车组组覆盖)、【覆盖)、【飞龙飞龙股份】股份】(汽车汽车组组覆盖)覆盖)等在数据中心液冷解决方案均有研发储备和一定进展;(2)服务器及 IDC 厂商有望通过加装液冷模块/采用液冷解决方案提升对下游客户的议价能力和盈利能力,建议关注:【中兴通讯】、【紫光股份】、【中兴通讯】、【紫光股份】、【浪潮信息】(计算机组覆盖)、【润泽科技】、【奥飞数据】、【宝信软【浪潮信息】(计算机组覆盖)、【润泽科技】、【奥飞数据】、【宝信软件】等件】等 风险提示:风险提示:算力投资不及预期、产业竞争加剧风险、算力投资不及预期、产业竞争加剧风险、液冷技术进展不及预期液冷技术进展不及预期 行业规模行业规模 占比%股票家
7、数(只)189 3.8 总市值(亿元)30278 3.6 流 通 市 值(亿元)21768 3.1 行业指数行业指数%1m 6m 12m 绝对表现 18.5 38.9 39.4 相对表现 20.3 39.6 47.7 资料来源:公司数据、招商证券 相关相关报告报告 1、【招商通信】电力信息化:发改委拟修订电力需求侧及负荷管理办法,电力信息化建设有望加速2023-05-23 2、运营商行业系列报告 4:当大国央企赋能科技革命2023-05-08 3、数字经济“算力网络”系列8:AI 拉动多少需求,光模块弹性空间量化测算2023-04-18 梁程加梁程加 S01 孙嘉擎孙嘉擎
8、 S01 -40-200204060Jun/22Oct/22Jan/23May/23(%)通信沪深300AIAI 推动液冷推动液冷从从 0 0 到到 1 1,产业链,产业链共振迈入新技术周期共振迈入新技术周期 敬请阅读末页的重要说明 2 行业深度报告 正文正文目录目录 一、芯片厂商出于功耗考虑,加大液冷散热技术研发与引入力度.6 1、芯片内部集成微流体液冷系统,CPU/GPU 芯片厂商加装冷却器/对接液冷系统.6 2、主流芯片厂商布局情况.6 二、液冷温控供应商梳理:.8 1、液冷温控市场空间测算.8 2、温控解决方案供应商.9 三、算力升级大趋势下服务器厂商加速布局液冷
9、服务器产品.10 1、冷板式液冷对于服务器整体改动较小,浸没式液冷对于服务器有较高要求.10 2、主流服务器厂商布局情况.11 四、第三方 IDC 企业积极布局高功率液冷数据中心.17 1、冷板式液冷改造技术较为成熟,浸没式液冷需对数据中心重新设计.17 2、主流第三方数据中心厂商布局情况.23 五、互联网、运营商等客户积极布局液冷技术.24 1、互联网厂商有望加速布局液冷技术.24 2、运营商通过试点方式验证液冷技术性能,至 2025 年将开展规模应用.25 3、多个政府项目采用液冷系统作为主流冷却技术.28 六、解耦交付模式符合液冷技术路线的发展趋势.29 1、解耦交付模式及解耦方案简介.
10、29 2、解耦交付模式的多重优势.30 图表图表目录目录 图 1:数据中心各环节液冷技术布局梳理.5 图 2:Intel CPU 液体冷却示意.6 图 3:Intel 液冷板示例.7 图 4:Intel 与 Sumber 合作的浸没式液冷系统.7 图 5:液冷 NVIDIA A100、H100.7 图 6:液冷 A100 GPU 相比于风冷 A100 GPU 的优势.7 图 7:“两级热管”液冷服务器.10 图 8:“水冷+热管”液冷服务器.10 5V8ZuYpXMBkUgVqMrM6McM6MpNpPtRnOjMrRsMkPrQyR6MnNpPuOmRsMwMsOnN 敬请阅读末页的重要说明
11、 3 行业深度报告 图 9:CPU 与热管进行热交换.10 图 10:“芯片冷板”液冷服务器.10 图 11:液冷刀片服务器模型.11 图 12:曙光数创浸没式液冷工作原理.11 图 13:曙光 ParaStor 液冷存储系统.12 图 14:曙光数创液冷集装箱产品.12 图 15:中兴通讯冷板式液冷系统架构.13 图 16:中兴通讯 ICT 液冷一体化方案架构图.13 图 17:中兴通讯服务器液冷解决思路.13 图 18:采用冷板式液冷技术的 R4900LC G5.14 图 19:新华三液冷一体化解决方案.14 图 20:B5000 G4 LP 节点液冷 CDU 示意图.15 图 21:冷板
12、式液冷数据中心整体链路图.17 图 22:冷量分配单元热交换原理示意图.17 图 23:供回液歧管示意图.18 图 24:快换接头结构.18 图 25:直连式管路示意图.19 图 26:环形管路示意图.19 图 27:冷板式液冷一次侧自然冷却系统图例.19 图 28:冷塔+水冷冷机+板换系统示意图.20 图 29:风冷冷水机组示意图.20 图 30:闭式冷却塔/干冷器示意图.20 图 31:开式冷却塔示意图.20 图 32:浸没式液冷系统结构简图.21 图 33:单相浸没式液冷系统结构.21 图 34:两相浸没式液冷系统结构.21 图 35:GRC 维也纳科学集群卧式系统.22 图 36:中科
13、曙光硅立方立式系统.22 图 37:全球数据中心单机柜功率变化情况及预测(kW).23 图 38:机柜功率密度所对应的散热冷却方式.23 图 39:阿里云浸没式液冷模块.24 图 40:阿里巴巴张北数据中心液冷系统.24 敬请阅读末页的重要说明 4 行业深度报告 图 41:阿里云磐久 Immersion DC 1000 系列.25 图 42:华为 FusionServer CH140L V3.25 图 43:华为 FusionServer Pro CH121L V5.25 图 44:三大运营商液冷技术发展的三年愿景.26 图 45:中国移动呼和浩特冷板式液冷测试.27 图 46:中国移动 5G
14、 基站单相浸没式液冷试点.27 图 47:中国电信 5G BBU 机柜液冷试点.27 图 48:中国电信广州数据中心冷板式微模块试点.27 图 49:一体化交付与解耦交付方案.29 图 50:盲插解耦交付方案示例.29 图 51:通信行业历史 PEBand.31 图 52:通信行业历史 PBBand.31 表 1:Intel 第四代至强处理器.6 表 2:NVIDIA A100 PCle GPU 风冷与液冷型号规格.7 表 3:中国服务器液冷市场空间测算.8 表 4:主要温控标的液冷产品线情况.9 表 5:主要温控标的液冷技术储备情况.9 表 6:中科曙光液冷服务器产品类型.12 表 7:浪潮
15、信息液冷服务器产品线.14 表 8:宁畅现有液冷服务器产品线.15 表 9:一次侧冷源建议方案.20 表 10:单相浸没式和两相浸没式系统对比.21 表 11:两相浸没液冷卧式系统和立式系统对比.22 表 12:互联网厂商、运营商、政府端液冷技术布局情况.24 表 13:三大运营商液冷技术技术布局规划.26 表 14:上海电信液冷招标.27 表 15:主要服务器厂商一体化/解耦交付模式.29 表 16:解耦交付与一体化交付模式对比.30 敬请阅读末页的重要说明 5 行业深度报告 KEYPOINTS:数据中心产业链各环节加速布局液冷技术。数据中心产业链各环节加速布局液冷技术。数据中心产业链主要由
16、上游基础设施(其中包含芯片提供商、ICT 设备商等)、中游 IDC 服务提供商、下游终端客户(其中包含互联网厂商、运营商及各行业客户)。当前数据中心上中下游主体皆开始加速导入液冷解决方案,主要体现在以下几个方面:1)芯片厂商:)芯片厂商:后摩尔定律时代芯片算力与功耗同步大幅度提升,主流 CPU、GPU 厂商则选择加装冷却器、对接液冷系统,实现芯片的液冷散热;2)服务器厂商:)服务器厂商:随着 AI服务器需求量逐步提升,服务器厂商开始布局冷板式液冷技术及其他液冷解决方案;3)数据中心服务提供商:)数据中心服务提供商:IDC 厂商布局高功率液冷机房,以应对快速增长的 IDC 机房单机柜功率密度及逐
17、步严苛的PUE 管控指标;4)下游终端客户:)下游终端客户:运营商、互联网厂商及政府项目等加速液冷技术研发与应用,提升整体机房运营效率,加速温控行业从风冷到液冷的切换。图图 1:数据中心各环节液冷技术布局梳理:数据中心各环节液冷技术布局梳理 资料来源:招商证券整理绘制 敬请阅读末页的重要说明 6 行业深度报告 一、一、芯片厂商出于功耗考虑,加大液冷散热技术研发与引入力度芯片厂商出于功耗考虑,加大液冷散热技术研发与引入力度 1、芯片内部集成微流体液冷系统,芯片内部集成微流体液冷系统,CPU/GPU 芯片厂商加装冷却器芯片厂商加装冷却器/对接液冷系统对接液冷系统 后摩尔定律时代芯片算力与后摩尔定律
18、时代芯片算力与功耗同步大幅提升,一方面,学界创新性提出“于芯片内部集成微流体液冷系统”,并功耗同步大幅提升,一方面,学界创新性提出“于芯片内部集成微流体液冷系统”,并逐步在业内尝试,主流逐步在业内尝试,主流 CPU、GPU 厂商则选择加装冷却器、对接液冷系统,实现芯片的液冷散热。厂商则选择加装冷却器、对接液冷系统,实现芯片的液冷散热。主流主流 CPU、GPU 厂商则选择加装冷却器、对接液冷系统,实现芯片的液冷散热:厂商则选择加装冷却器、对接液冷系统,实现芯片的液冷散热:CPU 方面,方面,以 Intel 为首的 CPU 芯片厂商选择为 CPU 芯片加装一体式(AIO)冷却器,与风冷模式类似,整
19、个冷却过程从 CPU IHS 基板出发,IHS 上附有导热管,方便两个表面之间进行传热,基板的金属表面则为水冷头的一部分,水冷头中装填冷却液。当冷却液通过水冷头时,会从基板中吸收热量,而后向上通过管道到达散热器,散热器再将液体暴露于空气中,实现冷却的一次循环。GPU 方面,方面,NVIDIA 在其 A100 80GB PCIe 中提供双插槽风冷式或单插槽液冷式双版本,A100 80GB PCIe 单插槽液冷版本类似于桌面液冷显卡,其中整合水冷头,接口置于 GPU 芯片尾部,方便对接液冷系统,HGX A100 则采用 SXM 样式计算卡,在机架内部直接整合液冷系统。图图 2:Intel CPU
20、液体冷却示意液体冷却示意 资料来源:Intel 官网、招商证券 2、主流芯片厂商布局情况主流芯片厂商布局情况(1)CPU 方面,方面,Intel 2023Q1 发布的第四代至强处理器多款子产品热设计功耗达 350W,传统风冷解决方案散热压力极大,2023 年 1 月 Intel 至强发布会上表明,第四代至强处理器将会配置液冷散热方案。表表 1:Intel 第四代至强处理器第四代至强处理器 产品名称产品名称 内核数量内核数量 最大睿频频率最大睿频频率 处理器基本频率处理器基本频率 热设计功耗热设计功耗 Platinum 8454H 32 3.40 GHz 2.10 GHz 270W Platin
21、um 8458P 44 3.80 GHz 2.70 GHz 350W Platinum 8460H 40 3.80 GHz 2.20 GHz 300W Platinum 8462Y+32 4.10 GHz 2.80 GHz 300W Platinum 8468 48 3.80 GHz 2.10 GHz 350W Platinum 8468H 48 3.80 GHz 2.10 GHz 330W Platinum 8468V 48 3.80 GHz 2.40 GHz 330W Platinum 8470 52 3.80 GHz 2.00 GHz 350W Platinum 8470N 52 3.6
22、0 GHz 1.70 GHz 300W Platinum 8470Q 52 3.80 GHz 2.10 GHz 350W Platinum 8471N 52 3.60 GHz 1.80 GHz 300W Platinum 8480+56 3.80 GHz 2.00 GHz 350W Platinum 8490H 60 3.50 GHz 1.90 GHz 350W 敬请阅读末页的重要说明 7 行业深度报告 资料来源:Intel 官网、招商证券 Intel 与合作伙伴共同设计冷板式液冷解决方案。与合作伙伴共同设计冷板式液冷解决方案。一方面,Intel 携手生态伙伴,全面系统地总结冷板液冷系统的设计
23、与实践经验,发布英特尔高效能数据中心白皮书、绿色数据中心创新实践冷板液冷系统设计参考。另一方面,Intel 和合作伙伴不断推进冷板方案的具体落地应用,2021Q2,Intel 与京东云合作,基于第三代 Intel 至强可扩展处理器,共同调整其核心数、Turbo 频率、TDP、RAS 特性等主要参数,以适配冷板式液冷解决方案的部署。Intel 已通过自研、合作研发等模式对于服务器浸没式液冷开展研究。已通过自研、合作研发等模式对于服务器浸没式液冷开展研究。1)2021 年,Intel 宣布与 Sumber 合作,双方会将至强架构的 CPU 系统与精密冷却技术相结合,开发基于浸没式液冷的余热回收技术
24、;2)2022 年,GRC(Green Revolution Cooling)公司宣布将会为 Intel 至强处理器提供浸没式液冷技术优化;3)2023 年,Intel 发言人透露,Intel 将会在其希尔斯伯勒工厂内继续进行浸没式液冷创新技术研究。图图 3:Intel 液冷板示例液冷板示例 图图 4:Intel 与与 Sumber 合作的浸没式液冷系统合作的浸没式液冷系统 资料来源:Intel绿色数据中心创新实践冷板式液冷系统设计参考、招商证券 资料来源:热管理行业观察、招商证券(2)GPU 方面,方面,2022 年 5 月,英伟达宣布将在 A100、H100 系列产品中引入直接芯片(Dir
25、ect to Chip)液冷散热技术,A100 80GB PCIe 将在尾部安置接口,以对接液冷系统。根据 Equinix 与 NVIDIA 的测试结果,液冷 NVIDIA A100 PCle GPU 一方面可以在空间相同的条件下,实现双倍计算量;另一方面,采用液冷技术的数据中心工作负载可以与风冷设施持平,但能源消耗量将减少 28%。同时,根据 NVIDIA 估计,采用液冷 GPU 的数据中心 PUE 可以达到 1.15,远低于风冷的 1.6。表表 2:NVIDIA A100 PCle GPU 风冷与液冷型号规格风冷与液冷型号规格 产品型号产品型号 A100 80GB PCIe GPU 显存显
26、存 80GB HBM2e GPU 显存带宽显存带宽 1935GB/s 最大热设计功耗(最大热设计功耗(TDP)300W 外形规格外形规格 PCIe 双插槽风冷式或单插槽液冷式单插槽液冷式 资料来源:NVIDIA 官网、招商证券 图图 5:液冷液冷 NVIDIA A100、H100 图图 6:液冷液冷 A100 GPU 相比于风冷相比于风冷 A100 GPU 的优势的优势 资料来源:NVIDIA、招商证券 资料来源:NVIDIA 官方微信公众号、招商证券 敬请阅读末页的重要说明 8 行业深度报告 二、二、液冷温控供应商梳理:液冷温控供应商梳理:1、液冷温控市场空间测算液冷温控市场空间测算 预计预
27、计 2025 年国内年国内 IDC 液冷市场规模将达到液冷市场规模将达到 132.8 亿元,其中亿元,其中 AI 服务器液冷市场规模达服务器液冷市场规模达 100 亿元、通用服务器液冷亿元、通用服务器液冷市场规模达市场规模达 32.8 亿元;亿元;预计预计 2028 年国内年国内 IDC 液冷市场规模将达到液冷市场规模将达到 250 亿元,其中亿元,其中 AI 服务器液冷市场规模达服务器液冷市场规模达 212 亿元、通用服务器液冷亿元、通用服务器液冷市场规模达市场规模达 37.7 亿元;亿元;表表 3:中国服务器液冷市场空间测算:中国服务器液冷市场空间测算 2021E 2022E 2023E
28、2024E 2025E 2026E 2027E 2028E 中国服务器出货量(万台)391.1 400.0 350.0 371.0 389.6 405.1 417.3 429.8 yoy(%)2.3%-12.5%6.0%5.0%4.0%3.0%3.0%中国中国 AI 服务器出货量(万台)服务器出货量(万台)5 6.0 14.0 20.0 25.0 30.8 36.9 43.5 yoy(%)20.0%133.3%42.9%25.0%23.0%20.0%18.0%AI 服务器出货量渗透率(%)1.3%1.5%4.0%5.4%6.4%7.6%8.8%10.1%AI 服务器液冷渗透率(%)5%6%20
29、%40%50%60%70%75%AI 服务器平均功率(kW)5.5 6.0 6.5 8.0 10.0 12.0 13.0 13.0 AI 服务器单 kW 液冷价值量(万元)1.3 1.2 1.0 0.9 0.8 0.6 0.6 0.50 中国中国 AI 服务器液冷市场规模(亿元)服务器液冷市场规模(亿元)1.8 2.6 18.2 57.6 100.0 132.8 184.7 212.3 yoy(%)45.0%602.2%216.5%73.6%32.8%39.0%14.9%中国通用服务器出货量(万台)中国通用服务器出货量(万台)386.1 394.0 336.0 351.0 364.6 374.
30、4 380.4 386.3 yoy(%)2.0%-14.7%4.5%3.9%2.7%1.6%1.5%通用服务器液冷渗透率(%)5%5%8%10%15%20%22%25%通用服务器平均功率(kW)0.6 0.8 0.9 1.1 1.2 1.25 1.3 1.3 通用服务器单 kW 液冷价值量(万元)0.7 0.7 0.6 0.5 0.5 0.3 0.3 0.3 中国通用服务器液冷市场规模(亿元)中国通用服务器液冷市场规模(亿元)8.1 11.0 14.5 19.3 32.8 28.1 32.6 37.7 yoy(%)36.1%31.6%33.0%70.0%-14.4%16.2%15.4%中国服务
31、器液冷市场规模(亿元)中国服务器液冷市场规模(亿元)9.9 13.6 32.7 76.9 132.8 160.9 217.3 249.9 yoy(%)37.7%140.1%135.1%72.7%21.2%35.1%15.0%资料来源:IDC、产业调研、招商证券整理测算 敬请阅读末页的重要说明 9 行业深度报告 2、温控解决方案供应商温控解决方案供应商 国内液冷温控解决方案提供商在液冷解决方案技术储备、液冷产品线上各有差异:国内液冷温控解决方案提供商在液冷解决方案技术储备、液冷产品线上各有差异:表表 4:主要温控标的液冷产品线情况:主要温控标的液冷产品线情况 冷板式液冷解决方案冷板式液冷解决方案
32、 浸没式液冷解决方案浸没式液冷解决方案 主要组件主要组件 液冷板液冷板 Manifold 快速接头快速接头 CDU 液冷液冷管路管路 干冷器干冷器 水泵水泵 浸没式浸没式液冷液冷TANK CDU 冷却液冷却液 水分配与水分配与冷却塔冷却塔 英维克英维克 申菱环境申菱环境 高澜股份高澜股份 同飞股份同飞股份 外采外采 佳力图佳力图 网宿科技网宿科技 银轮股份银轮股份 资料来源:公司公告、CDCC、公司官网、产业调研、招商证券 表表 5:主要温控标的液冷技术储备情况:主要温控标的液冷技术储备情况 公司公司 冷板式液冷技术冷板式液冷技术 浸没式液冷技术浸没式液冷技术 液冷技术进展液冷技术进展 英维克
33、英维克 Intel 液冷温控重要合作伙伴,与超聚变共同深入研发全链条液冷解决方案,当前已实现 500MW 液冷项目交付 申菱环境申菱环境 公司液冷解决方案已在中国移动南方基地液冷机房中完成测试,技术方案成熟 高澜股份高澜股份 2022 年 8 月,公司与 GPU 厂商芯动科技签订战略合作协议,当前已实现服务器液冷相关产品样件及小批量供货 同飞股份同飞股份 2022 年 7 月,公司宣布与超聚变合作开发数据中心温控产品;2022 年 11 月,公司宣布将锚定液冷服务器厂商、数据中心服务提供商与头部互联网公司,加快自身液冷产品拓展 佳力图佳力图 当前公司已掌握 CPU 液冷核心技术,正加速推进与核
34、心客户的合作布局 网宿科技网宿科技 已与中国电信、戴尔集团签订合作协议已与中国电信、戴尔集团签订合作协议,聚焦浸没式液冷产品研发,目前液冷业务的收入占公司收入的比重仍然较低 银轮股份银轮股份 公司集装式数据中心温控系统已与下游客户签订合作协议 依米康依米康 公司已与重要战略客户联合开发浸没式液冷产品,预计将于 2023年上半年进行产品测试 飞龙股份飞龙股份 公司电子水泵系列、电子油泵系列和热管理系统平台产品已用于GPU 冷却、AI 服务器冷却;当前已有项目量产,服务器液冷领域由于公司与客户签订保密协当前已有项目量产,服务器液冷领域由于公司与客户签订保密协议,暂时无法披露议,暂时无法披露 川润股
35、份川润股份 公司在数据中心、云计算、IDC、通信网络等人工智能应用方面有液冷技术储备,正积极推进液冷产品送样正积极推进液冷产品送样 北特科技北特科技 公司正积极探索将储备的集成式热管理系统技术应用于服务器热管理场景之中,暂未形成具体商用方案及商业订单 资料来源:公司公告、公司官网、招商证券 敬请阅读末页的重要说明 10 行业深度报告 三、三、算力升级大趋势下服务器厂商加速布局液冷服务器产品算力升级大趋势下服务器厂商加速布局液冷服务器产品 1、冷板式液冷对于服务器整体改动较小,浸没式液冷对于服务器有较高要求冷板式液冷对于服务器整体改动较小,浸没式液冷对于服务器有较高要求(1)冷板式加装液冷模块冷
36、板式加装液冷模块 冷板式液冷对于服务器本身改动较小,主要途径为加装液冷模块。冷板式液冷对于服务器本身改动较小,主要途径为加装液冷模块。冷板式液冷是最为典型的间接接触型液冷技术,在冷板式液冷系统中,服务器芯片等发热器件不直接接触冷却液,而是通过装配在电子元器件上的冷板(通常是铜、铝等高导热金属构成的封闭腔体)将热量间接传递给封闭在循环管路中的冷却液体,从而将主要发热器件的热量传递出去。冷板式液冷技术对现有服务器芯片组件及附属部件改动量较小,液冷化改造可操作性相对较强。主要在服务器中加装液冷模块,采用集中式或分布式 CDU 供液、Manifold 分液,以此对于 CPU、DIMM 等部件进行精准制
37、冷。在实际操作过程中,中国移动(呼和浩特)数据中心将冷板式液冷细分出“两级热管”、“水冷+热管”、“芯片冷板”三条具体技术路径:“两级热管”液冷服务器:“两级热管”液冷服务器:此模式将服务器 CPU、GPU、内存等产生的热量从一级导热管传递至二级导热管,二级热管冷媒流动至换热器将热量传递给冷冻水,交换后的热水通过室外回水管路流出,完成整个换热过程。“水冷“水冷+热管”液冷服务器:热管”液冷服务器:此模式将通过热管导热原理将服务器 CPU、GPU、内存等产生的热量传递至热管冷凝端,冷却水在冷凝端与热管进行热交换,交换后的热水经由回水管路流出,完成整个换热过程。“芯片冷板”液冷服务器:“芯片冷板”
38、液冷服务器:此模式采用泵驱动冷却液流过芯片背部通道,冷却液在通道内通过板壁与芯片进行充分热交换,带走芯片端的热量后,含有热量的冷却液将通过集分水器将热量输送至机房内的 CDU 完成热量交换。图图 7:“两级热管”液冷服务器“两级热管”液冷服务器 图图 8:“水冷“水冷+热管”液冷服务器热管”液冷服务器 资料来源:侯晓雯等液冷服务器在数据中心的研究与应用(2019)、招商证券 资料来源:侯晓雯等液冷服务器在数据中心的研究与应用(2019)、招商证券 图图 9:CPU 与热管进行热交换与热管进行热交换 图图 10:“芯片冷板”液冷服务器“芯片冷板”液冷服务器 资料来源:潘敏强大数据中心芯片级非接触
39、液冷高效节能技术(2021)、招商证券 资料来源:侯晓雯等液冷服务器在数据中心的研究与应用(2019)、招商证券 敬请阅读末页的重要说明 11 行业深度报告 (2)浸没式浸没式要对要对服务器箱体定制化改造服务器箱体定制化改造 浸没式液冷改造对于服务器本身及浸没腔体具有较高要求。浸没式液冷改造对于服务器本身及浸没腔体具有较高要求。浸没式液冷改造过程中,服务器箱体需要进行定制,满足三点要求:1)采用高功率密度设计;2)采用结构定制化设计以强化液体与发热器件之间的热交换;3)采用结构定制化以提高浸没式液冷环境下电子信息设备的运维效率。同时,浸没式液冷服务器浸没腔体应该被设计顶部开盖、由四个壁面和一个
40、底面围成的具有一定内部容积的结构,分气相区与液相区,服务器主板浸没于液相区内,气相区保障气密性良好,确保冷却液蒸汽无泄漏;单项系统中液相区的液体温度场需均匀,无局部热点,同一水平界面下温差需要5。实践层面上,中科曙光以液冷刀片形式为行业提供服务器改造思路。实践层面上,中科曙光以液冷刀片形式为行业提供服务器改造思路。浸没式液冷技术基于液体直接制冷,当前仍然处于发展早期,由于研发难度较大、投入成本较高,当前入局的服务器厂商较少。中科曙光旗下子公司曙光数创,专注于数据中心制冷基础实施开发,由其所开发的以液冷刀片服务器为核心的浸没相变产品为行业提供技术商业化落地思路。液冷刀片服务器由刀片模块,后插单板
41、、电源等组成,通过设备后总接口置于冷媒之中。根据曙光数创方案,将液冷服务器全部浸没于冷媒之中,CPU、GPU 等发热元器件通过冷媒相变换热的方式实现散热,气化的冷媒进入换热器与常温冷却水换热,冷凝为液体后,完成热力循环。图图 11:液冷刀片服务器模型:液冷刀片服务器模型 图图 12:曙光数创浸没式液冷工作原理:曙光数创浸没式液冷工作原理 资料来源:高益兵等刀片服务器液冷系统的设计和探究(2020)、招商证券 资料来源:曙光数创招股说明书、招商证券 2、主流服务器厂商布局情况主流服务器厂商布局情况 算力升级大趋势下算力升级大趋势下 AI 服务器渗透率快速提升,功耗提升带动服务器厂商加速布局液冷服
42、务器产品。服务器渗透率快速提升,功耗提升带动服务器厂商加速布局液冷服务器产品。根据 IDC 数据,2022 年全球 AI 服务器市场规模达 202 亿美元,同比增长 29.8%,占服务器市场规模的比例为 16.4%,同比提升1.2pct。相比于传统服务器,AI 服务器整机功耗也随之走高,如 NVIDIA DGX A100 640GB,其采用双路 AMD Rome 7742 与 8 颗 NVIDIA A100 80GB Tensor Core GPU,最大整体功耗达到 6.5kW。故中科曙光、中兴通讯、紫光股份、浪潮信息、宁畅等服务器厂商也开始加速布局液冷服务器产品以应对算力升级趋势下服务器功耗
43、持续提升的现状。(1)中科曙光:高性能计算领军企业,深耕服务器液冷技术研发十余年中科曙光:高性能计算领军企业,深耕服务器液冷技术研发十余年 中科曙光作为国内液冷先进计算的领导者,液冷技术研发经历“冷板式液冷技术”、“浸没式液冷技术”、“浸没相变液冷技术”三大发展阶段。公司于 2011 年开始液冷技术研究,2015 年推出我国首款标准化的量产冷板式液冷服务器,2019 年推动全球首个大规模浸没相变液冷项目的商业落地。当前公司已形成冷板式液冷 C7000 系列、浸 敬请阅读末页的重要说明 12 行业深度报告 没式液冷 C8000 系列、TC4600E-LP 冷板式液冷刀片服务器产品线,覆盖物理、化
44、学、材料、生命科学、气象等基础研究领域及金融、动漫等多行业。核心发热部件采用液冷散热方式,改造技术成熟并可有效控核心发热部件采用液冷散热方式,改造技术成熟并可有效控制成本。制成本。受制于成本与技术成熟度等因素,传统液冷高性能服务器大规模部署遭遇瓶颈,公司 C7000 系列通用液冷服务器与 TC4600E-LP 刀片式液冷服务器皆采用风冷与液冷相结合的方式,通过为服务器内部主要热源(CPU、内存等)配置液冷冷板套件、封闭通道、竖直分液单元、液冷换热单元等产品,对于传统风冷服务器进行液冷改造设计,整体冷板式液冷改造技术成熟,并可以有效控制成本,为后续液冷高性能服务器产业化提供可能。表表 6:中科曙
45、光液冷服务器产品类型:中科曙光液冷服务器产品类型 系列产品型号系列产品型号 系列产品示意图系列产品示意图 冷冷却方式却方式 机柜配置特点机柜配置特点 C7000 系列系列 冷板式液冷 风冷和液冷混合散热:风冷和液冷混合散热:CPU、内存采用液冷冷板散热,其余部件采用风冷散热;标准 42U 机柜最多可放置 9 个液冷刀片机箱 C8000 系列系列 浸没式液冷 采用一体化液冷散热模块,具有高密度换热能力,最高可达到 420kW TC4600E-LP 冷板式液冷 风冷和液冷结合:风冷和液冷结合:CPU 和内存采用液冷散热、其余部件采用风冷散热 资料来源:中科曙光官网、曙光数创官网、招商证券 高端计算
46、领域浸没液冷技术储备充足,逐步向液冷存储、高端计算领域浸没液冷技术储备充足,逐步向液冷存储、AI 液冷服务器、液冷集装箱产品拓展。液冷服务器、液冷集装箱产品拓展。根据中国智能计算产业联盟发布的东数西算下新型算力基础设施发展白皮书,公司在高端计算领域的浸没式液冷技术与高密度刀片系统集成技术相当成熟,但机柜功率已达 160kW,模块化组装设计方案使得单位机房计算密度提升 30 倍。2022年 11 月,公司发布业内首款液冷存储系统 ParaStor,采用冷板式液冷设计,帮助降低除芯片外,硬盘、内存等关键存储部件的工作温度。随着各大厂商陆续进行自己的 AI 大模型研发,2023 年 2 月,公司推出
47、“全浸没式液冷 AI 训练专用服务器”,并与百度、复旦大学等深度合作,支持国内多个千亿级以上参数规模的 AI 大模型训练。2023 年 3月,公司子公司曙光数创正式发布“液冷集装箱数据中心”产品,集成冷板式液冷、浸没式液冷与风冷基础设施设备,满足通用、人工智能计算等应用场景需求。图图 13:曙光:曙光 ParaStor 液冷存储系统液冷存储系统 图图 14:曙光数创液冷集装箱产品:曙光数创液冷集装箱产品 资料来源:中科曙光官网、招商证券 资料来源:中科曙光官网、招商证券 敬请阅读末页的重要说明 13 行业深度报告 (2)中兴通讯:长期处于市场一线,前瞻布局中兴通讯:长期处于市场一线,前瞻布局
48、ICT 液冷一体化解决方案液冷一体化解决方案 中兴通讯作为全球领先的综合性通信解决方案提供商,长期处于市场一线,根据自身技能专长,前瞻性布局 ICT 液冷一体化解决方案。公司当前主要基于冷板式液冷技术,形成单板级、插箱级、机柜级、机房级四个不同维度的液冷技术线,主要覆盖 IT 液冷服务器设备、CT 液冷路由交换设备、DC 液冷数据中心机房的开发与交付。根据公司官网信息,2023 年 1 月,中兴通讯发布了 5 款全新的 G5 系列服务器产品,其中 4 款支持冷板式液冷解决方案,整机功耗相比于传统风冷服务器可降低 80W,噪声降低 15dB,PUE 指标可达 1.1。此外,中兴通讯其他 3 款产
49、品(Intel Whitley 平台与海光 3 号平台)也将提供冷板液冷散热方案,实现更大程度上的能耗降低。图图 15:中兴通讯冷板式液冷系统架构:中兴通讯冷板式液冷系统架构 图图 16:中兴通讯:中兴通讯 ICT 液冷一体化方案架构图液冷一体化方案架构图 资料来源:中兴通讯官网、招商证券 资料来源:中兴通讯官网、招商证券 服务器方面,中兴通讯联合 Intel 等合作伙伴为客户提供基于冷板式液冷与浸没式液冷技术冷板式液冷与浸没式液冷技术的多种定制化解决方案。CPU 层面,层面,中兴通讯联合英特尔将三维立体真空腔均热板(3DVC)散热技术引入服务器散热设计中,相较于传统导热管散热器,导热由一维上
50、升至多维,导热面积扩大、热量传递更为均匀,提升性能的同时,成本降低 20%左右。冷板式液冷方面,冷板式液冷方面,中兴通讯根据服务器设计的差异,提供微通道冷板、大浮动冷板等多种冷板方案,冷板与 CPU 等发热器件直接接触,技术成熟,无需对于服务器本身进行大规模改造。其中,中兴通讯歧管微通道冷板(MMC)的流量-流阻特性与承压能力更为优异,散热效果更为显著。浸没式液冷方面,浸没式液冷方面,中兴通讯根据应用场景综合评估热物性、可靠性、维护性与成本,定制化提供氟碳类、硅油类等不同类型工质浸没式液冷解决方案。图图 17:中兴通讯服务器液冷解决思路:中兴通讯服务器液冷解决思路 资料来源:中兴通讯官网、36
51、 氪、招商证券 (3)紫光股份:新华三厚积薄发,打造全栈液冷紫光股份:新华三厚积薄发,打造全栈液冷 ICT 产品解决方案产品解决方案 新华三是国内最早投入液冷技术研发的企业之一,在液冷服务器上有着多年的技术积淀。2017 年,新华三开始在 敬请阅读末页的重要说明 14 行业深度报告 R4900 G2 机架服务器、B16000 刀片服务器上进行冷板预研,当时单节点功耗就已经较风冷降低 49.85W,CPU 温度降低 23(235W CPU),PUE 实测值在 1.2 左右。2022 年 5 月,新华三推出 UniServer R4900LC G5 液冷服务器,整合全新冷板式液冷技术,支持 NVI
52、DIA A100 80GB PCIe 液冷式 GPU,相比于传统风冷机型,整机功耗可降低 21.3%,全年 PUE 均值为 1.042。当前,公司可提供全计算平台液冷服务器产品(包含通用计算平台、异构计算平台)、液冷交换机等 ICT 液冷设备,同时根据客户不同的业务场景,提供液冷机柜(包含 Manifold、配套管路、传感器)、分布式/集中式 CDU 的液冷数据中心整体解决方案。未来,新华三将推动其液冷解决方案由传统硬件制冷向未来,新华三将推动其液冷解决方案由传统硬件制冷向 AI 制冷模式演进。制冷模式演进。2023 中国数据中心液冷技术峰会上,新华三智慧计算产品经理表示,未来新华三会进一步加
53、强芯片级液冷、浸没式液冷技术的开发与利用,搭配液体散热、余热回收等技术,加速硬件制冷向 AI 制冷的转变,强化端到端数字化转型能力。图图 18:采用冷板式液冷技术的:采用冷板式液冷技术的 R4900LC G5 图图 19:新华三液冷一体化解决方案:新华三液冷一体化解决方案 资料来源:H3C 官方微信公众号、招商证券 资料来源:2023 中国数据中心液冷技术峰会、招商证券 (4)浪潮信息:全栈布局液冷,四大系列液冷服务器面向多样化场景浪潮信息:全栈布局液冷,四大系列液冷服务器面向多样化场景 2022 年初,浪潮信息将“All in 液冷”写入公司战略,开启公司全栈式液冷布局的新时期。目前,公司已
54、拥有 300多项液冷技术领域核心专利,覆盖冷板式液冷、热管式液冷、浸没式液冷,技术储备充足,实现相变均温、微通道冷却、浸没式冷却等新型热传导技术在智算产品线的全面覆盖。例如,针对 CPU、GPU 等高功耗部件,浪潮信息采用微纳腔-相变-均温设计模式,整体散热性能相较于传统风冷技术提升 150%。2022 年 3 月,浪潮信息联合京东云共同发布 ORS3000S 液冷整机柜服务器,支持浪潮 NF5260FM6、NF5260M6与 NF5280M6 液冷服务器节点,与传统风冷式整机柜相比,数据中心部署总体能耗降低 45%。2022 年 6 月,公司发布液冷通用服务器、液冷高密度服务器、液冷整机柜服
55、务器、AI 液冷服务器等全栈液冷产品,以四大系列液冷服务器产品面向通用、高算力密度、AI 模型训练等多样化场景。同时,为持续推进液冷产业化发展,公司已建成目前亚洲最大的液冷数据中心研发生产基地“天池”,可实现冷板式液冷整机柜的大批量交付,整体交付交付周期在 5-7天,年产量可达 10 万台。表表 7:浪潮信息液冷服务器产品线:浪潮信息液冷服务器产品线 产品类型产品类型 产品型号产品型号 产品示例产品示例 引入液冷技术类型引入液冷技术类型 产品特点产品特点 液冷通用液冷通用服务器服务器 NF5280M6 冷板式液冷 采用全新 Intel 第三代至强处理器 最大功耗 270W 兼容液冷节点快接方案
56、,解耦灵活 NF5260M6 冷板式液冷 独特前 I/O 设计,可提升热敏部件寿命,运维便捷 预制化集成,整机柜交付 敬请阅读末页的重要说明 15 行业深度报告 产品类型产品类型 产品型号产品型号 产品示例产品示例 引入液冷技术类型引入液冷技术类型 产品特点产品特点 液冷高密液冷高密度服务器度服务器 i24LM6 冷板式直接芯片液冷 2U 空间支持 4 个双路计算节点 支持液冷升频,计算性能提升5%以上 液冷整机液冷整机柜服务器柜服务器 ORS3000S 冷板式液冷 冷却效率提升 50%N+N 冗余集中供电设计,支持多节点供电,保障高效供电效率 液冷液冷 AI 服服务器务器 NF5688M6
57、冷板式液冷 8 颗 NVIDIA A800 GPU 液冷支持 500W A800 GPU CPU 冷板采用模块化设计 配备 13 个 PCIe 扩展槽 资料来源:浪潮信息官网、招商证券(5)宁畅:冷板式液冷全线覆盖,加速浸没式液冷服务器产业化落地进程宁畅:冷板式液冷全线覆盖,加速浸没式液冷服务器产业化落地进程 宁畅当前拥有冷板式液冷、闭式液冷散热、浸没式液冷等多种液冷散热技术能力,2022 年 3 月,宁畅推出系列液冷服务器,其中冷板式液冷覆盖其全线服务器产品平台,配合“闭式液冷散热”系统,用户无需改造机房,仅依托循环冷板与 EVAC 散热,便可以使服务器散热能力提升 40%。从服务器角度来看
58、,2022 年宁畅入选工信部数字经济赋能绿色转型案例集中的 B5000 G4 LP 液冷服务器采用“串联+并联”冷板设计,对主要热源 CPU 与内存进行部件级精确制冷,通过冷却液带走 CPU 与内存 80%-90%的热量,并显著降低系统功耗与运行噪音。图图 20:B5000 G4 LP 节点液冷节点液冷 CDU 示意图示意图 资料来源:宁畅官方微信公众号、招商证券 2023 年 1 月,宁畅在其新品发布会上推出了 12 款全新 G50 系列服务器产品,覆盖通用服务器、人工智能服务器、多节点服务器、边缘服务器等全线产品,并在业内首发支持第四代 Intel 至强可扩展处理器的浸没式液冷服务器B70
59、00。宁畅联合 Intel 对于此次的浸没式液冷服务器进行了诸多创新,保障高性能的情况下降低散热功耗,整体PUE1.05,年耗散挥发率小于 3%。当前浸没式液冷服务器仍处于商业化落地的早期阶段,入局玩家较少,宁畅B7000 的推出有望进一步加速浸没式液冷服务器的产业化落地进程。表表 8:宁畅现有液冷服务器产品线:宁畅现有液冷服务器产品线 产品类型产品类型 产品型号产品型号 产品示例产品示例 引入液冷技术类型引入液冷技术类型 产品特点产品特点 敬请阅读末页的重要说明 16 行业深度报告 产品类型产品类型 产品型号产品型号 产品示例产品示例 引入液冷技术类型引入液冷技术类型 产品特点产品特点 通用
60、液冷通用液冷服务器服务器 R620 G50 LP 冷板式液冷 第四代英特尔至强可扩展处理器 CPU 采用冷板式散热,最高温度不超过 55 C 液冷散热超 80%,PUE1.15,年节约成本可达千万 R620 G40 LP 冷板式液冷 全新 3 UPI 互联架构,总线带宽高达 11.2 GT/s CPU 采用冷板式液冷散热方式,采用中高温液体有效降低能耗 多节点液多节点液冷服务器冷服务器 B5000 G5 LP 高效冷板式液冷 第四代英特尔至强可扩展处理器 4U8 节点高密度架构,支持 8 个双路计算节点 整机 PUE 降低至 1.12 B5000 LP G4 高效冷板式液冷 4U8 节点高密度
61、架构,支持 8 个双路计算节点 整机 PUE 降低至 1.2 AI 液冷服液冷服务器务器 X660 G45 LP 冷板式液冷 搭载 8 颗 NVIDIA Tesla SXM4 A800 冷板液冷 GPU CPU 采用冷板散热设计,最大支持 2*270W TDP GPU 采用冷板散热设计,最大支持 8*500W TDP 资料来源:宁畅官网、招商证券 敬请阅读末页的重要说明 17 行业深度报告 四、四、第三方第三方 IDC 企业积极布局高功率液冷数据中心企业积极布局高功率液冷数据中心 1、冷板式液冷改造技术较为成熟,浸没式液冷需对数据中心重新设计冷板式液冷改造技术较为成熟,浸没式液冷需对数据中心重
62、新设计 冷板式液冷技术较为成熟,为当前主流液冷改造方案。冷板式液冷技术较为成熟,为当前主流液冷改造方案。目前冷板式液冷数据中心产品市场上占比较高,互联网巨头以及数据中心设备企业多推出了商用化冷板式液冷服务器,而商用化的浸没式液冷服务器较少,该项技术主要由阿里巴巴推动。(1)冷板式液冷系统改造冷板式液冷系统改造 从整体结构来看,冷板式液冷数据中心散热系统架构由室外(一次侧)和室内(二次侧)两部分组成。从整体结构来看,冷板式液冷数据中心散热系统架构由室外(一次侧)和室内(二次侧)两部分组成。室外冷却塔中的冷却液通过室内冷却液体流量分配单元(CDU)提供冷却液循环动力,经 CDU 二次侧输出并与服务
63、器中发热电子元器件(CPU、GPU、内存等)的导热冷板直接进行热交换,形成的热液经 CDU 输出到室外冷却塔进行冷却后再循环。图图 21:冷板式液冷数据中心整体链路图:冷板式液冷数据中心整体链路图 资料来源:英特尔、招商证券 二次侧二次侧冷量分配单元冷量分配单元:冷量分配单元(冷量分配单元(CDU)是一种用于在液体回路之间进行热交换的装置。)是一种用于在液体回路之间进行热交换的装置。CDU 主要分为机架式(嵌柜式)机柜式和平台式等,主要作用是隔离一次侧与二次侧回路,并在其内部提供一次侧与二次侧的热交换能力,此外,CDU 的功能还包括对压力、流量、温度、露点控制、水质洁净度及泄漏监测。CDU 支
64、持的机架数量可以从单个机柜扩展到组合机架的组或集群,冷却液通过安装在机架中带接头的专门管道供回液歧管分配。图图 22:冷量分配单元热交换原理示意图:冷量分配单元热交换原理示意图 资料来源:英特尔、招商证券 二次侧二次侧供回液歧管:供回液歧管:供回液歧管是二次侧回路中的一个关键部件,用于分配流入或流出机架内供回液歧管是二次侧回路中的一个关键部件,用于分配流入或流出机架内 IT 设备的冷却工质。设备的冷却工质。冷却工质供回液歧管主要功能是将从 CDU 分配进入各机架内的冷却工质再次均匀分流到各 IT 设备,并从冷板出液端收集回流液体。在 敬请阅读末页的重要说明 18 行业深度报告 使用机架式 CD
65、U 的液冷部署中,歧管的位置通常在机架内后部,也可以放置在机架的前面或侧面,重点在于需要满足 IT 设备的部署及配电设计要求,能确保 IT 设备的接入和断开。供回液歧管为二次侧液体回路提供了重要的连接点,由于连接点存在泄露风险,而在底部的连接点发生泄漏后滴落在地板上风险更低,所以通常设置在底部。图图 23:供回液歧管示意图:供回液歧管示意图 资料来源:Intel绿色数据中心创新实践冷板式液冷系统设计参考、招商证券 二次侧二次侧快换接头:快换接头:快换接头是保证服务器具备在线插拔维护性能的关键部件。快换接头是保证服务器具备在线插拔维护性能的关键部件。在二次侧流体回路中,自封式快换接头是具有快速连
66、接或断开 IT 设备或其组件与液冷系统的连接并确保具备自封功能的部件,其通常是公/母配置(插头/插座、插件/体等)配对使用的,断开时,集成在快换接头内部的用于密封流体流动的自封阀芯会断开流体的连接,以保护周围设备不受影响。自封式快换接头一般有手动插拔式和盲插式两种设计:手动插拔式:手动插拔式:手动插拔式是需要人为手动握住的快换接头,进行插拔连接操作的接头设计可分为单手插拔和双手插拔式,因为涉及手动插拔动作,需要保证足够插拔操作空间;盲插式:盲插式:盲插接头是一种通过压力将公母头插入导通或拔开断开无需手动操作的接头设计,需要通过精确的滑轨设计或定位销来辅助定位连接,并要保持导通所需的压力,以避免
67、公母头滑移导致接头液路断开。图图 24:快换接头结构:快换接头结构 资料来源:英特尔、招商证券 二次侧二次侧管路连接:管路连接:二次侧管路将二次侧管路将 CDU 和末端服务器冷板相连,和末端服务器冷板相连,一般连接方式有直连和环形管路连接两种,其中,环形管网包含供液环管、回液环管、CDU 支路、机架歧管需要支路、排气装置和排液口等,用以供液环管和回液环管分别形成环状闭合回路,且提高环状闭合回路系统的流量均匀性,此外,由于环形管网中无死端,液体一直处于流动状态,不易变质。敬请阅读末页的重要说明 19 行业深度报告 图图 25:直连式管路示意图:直连式管路示意图 图图 26:环形管路示意图:环形管
68、路示意图 资料来源:英特尔、招商证券 资料来源:英特尔、招商证券 一次侧一次侧制冷系统:制冷系统:一次侧制冷系统方面,冷源设计的时候需要结合二次侧末端的水温和室外的气象参数确定。一次侧制冷系统方面,冷源设计的时候需要结合二次侧末端的水温和室外的气象参数确定。主要分为两种形式,一个是自然冷却形式,一个是机械制冷形式。机械制冷系统主要包含风冷冷冻水系统和水冷冷冻水系统两种,可以提供温度范围 12-18的冷冻水;自然冷却系统主要包括开式冷却塔、闭式冷却塔和干冷器三种,可以提供 30以上的冷却水。一次侧液冷系统的采用需要结合二次侧末端水温需求和项目地室外环境情况确定。图图 27:冷板式液冷一次侧自然冷
69、却系统图例:冷板式液冷一次侧自然冷却系统图例 资料来源:英特尔、招商证券 一次侧一次侧冷源组合方案:冷源组合方案:根据水资源充裕程度、室外气温等因素,一次侧冷源又有多种组合方案:根据水资源充裕程度、室外气温等因素,一次侧冷源又有多种组合方案:冷塔冷塔+水冷冷机水冷冷机+板换系统:板换系统:在高热高湿地区,机房环境温度要求高,直接采用闭式冷塔/干冷器无法直接满足供冷要求,因此需要机械制冷装置进行辅助,通常采用的是冷水机组+冷却塔的联合供冷的方式,此结构适应性强、效率高,但缺点在于耗水量较大,不适合水资源匮乏的地区;风冷冷水机组:风冷冷水机组:风冷冷水机组由冷凝器、水泵、压缩机等部件合成,且通常配
70、置干冷器(免费冷源模块),此结构优点在于集成度高,但是无法利用水的蒸发潜热,系统能效低,适合系统偏小环境以及缺水地区;闭式冷却塔闭式冷却塔/干冷器:干冷器:对于气温全年较低的地区,可采用闭式冷塔/干冷器直接供冷,全年无需机械制冷辅助,其中,闭式冷却塔系统以蒸发散热为主,优点在于输出温度更低,且循环系统水质较好,对于换热设备友好,缺点在于耗水量大,而干冷器体积较大,单机制冷量偏小,但容易布置,配置上湿膜,还可以部分使用蒸发冷却;开式冷却塔:开式冷却塔:制冷模式与闭式冷却塔完全相同,但是由于开式冷却塔水路与大气相通,水质较差。敬请阅读末页的重要说明 20 行业深度报告 图图 28:冷塔:冷塔+水冷
71、冷机水冷冷机+板换系统示意图板换系统示意图 图图 29:风冷冷水机组示意图:风冷冷水机组示意图 资料来源:英特尔、招商证券 资料来源:英特尔、招商证券 图图 30:闭式冷却塔:闭式冷却塔/干冷器示意图干冷器示意图 图图 31:开式冷却塔示意图:开式冷却塔示意图 资料来源:英特尔、招商证券 资料来源:英特尔、招商证券 表表 9:一次侧冷源建议方案:一次侧冷源建议方案 一次侧冷源建议方案一次侧冷源建议方案 气温条件气温条件 自然气温低,可以满足全年自然冷源制冷 自然气温高,需要机械制冷补充 水资源条件水资源条件 水资源充裕 水资源匮乏 水资源充裕 水资源匮乏 一次侧冷源选择一次侧冷源选择 闭式冷却
72、塔/开式冷却塔 干冷器 冷机+冷塔+板换 风冷冷水机组 资料来源:英特尔、招商证券(2)浸没式液冷系统改造浸没式液冷系统改造 浸没式液冷改造成本高,需对整体数据中心进行重新设计。浸没式液冷改造成本高,需对整体数据中心进行重新设计。从现场改造的角度来看,浸没式液冷需要为 IT 设备配备水槽或新的机箱,因此改造成本更高。从传统风冷到浸没式液冷,其变化不仅仅在于服务器的放置方式,从 HVDC的配电、列头的配电、CDU 设备、管线及支架、浸没式腔体、CDU 一次侧/二次侧的管道、楼板的承载、弱电工程、自控系统等方面都需要重新设计。系统整体结构:系统整体结构:从结构上看,浸没式液冷系统分为室内侧循环和室
73、外侧循环两部分。从结构上看,浸没式液冷系统分为室内侧循环和室外侧循环两部分。室内侧循环:室内侧循环:在室内侧循环过程中,若采用单相浸没式液冷,发热部件直接浸没在冷却液中进行热交换,循环泵将吸收了热量的冷却液导入热交换单元,在热交换单元中冷却后再循环回到箱体中为发热部件散热;若采用两相浸没式液冷,服务器完全浸没在充满低沸点冷却液的密闭箱体中,冷却液受热沸腾发生相变,蒸汽逃逸并升腾至机箱顶部形成气相区,而后蒸汽遇到冷凝器再液化变为液体,继续回到箱体内部冷却循环。室外侧循环:室外侧循环:室外侧循环和冷板式结构的一次侧类似,低温水在换热后吸收大量热量变为高温水,由循环水泵输入到室外冷却塔,在冷却塔中,
74、高温水与大气进行热交换,释放热量,变成低温水再由室外侧进水泵输送进液冷换热模块中与气态冷却液进行热交换,完成室外侧循环。从机房布局来看,浸没式液冷系从机房布局来看,浸没式液冷系统空间利用率更高。统空间利用率更高。由于浸没式液冷不需要气流流经 IT 设备,因此它为数据中心白区以及边缘区域带来更大的灵活性,系统不再需要布置冷热通道,可以采用背对背机柜行布局,利用风冷系统无法 敬请阅读末页的重要说明 21 行业深度报告 使用的位置,从而增加机房空间利用率。图图 32:浸没式液冷系统结构简图:浸没式液冷系统结构简图 资料来源:曙光数创招股说明书、招商证券 单相与两相浸没式液冷系统选择:单相与两相浸没式
75、液冷系统选择:单相浸没式结构设计更简单,两相浸没式冷却效果更好。单相浸没式结构设计更简单,两相浸没式冷却效果更好。单相浸没式液冷系统的浸没机柜设计更为简单,冷却工质(氟化液)更易操作、维护,与两相浸没式液冷相比,单相浸没式液冷在材料兼容性和循环中污染物上的隐患也更少。而两相浸没式液冷系统尽管因其沸腾传热特性,可以达到更大的传热系数和更高的散热极限,冷却效果更好,但设计难度较高,且成本也较高,系统研发却相对缓慢。在结构上来看,支持两相浸没式液冷所需的冷源较为简单,如果使用干式冷却器作为一次侧冷却,则无需冷却水塔等蒸发降温设施。图图 33:单相浸没式液冷系统结构:单相浸没式液冷系统结构 图图 34
76、:两相浸没式液冷系统结构:两相浸没式液冷系统结构 资料来源:3M 官网、招商证券 资料来源:3M 官网、招商证券 表表 10:单相浸没式和两相浸没式系统对比:单相浸没式和两相浸没式系统对比 单相浸没式系统单相浸没式系统 两相浸没式系统两相浸没式系统 冷却原理冷却原理 以导热、对流传热为主 以核态沸腾传热为主 传热系数大致范围传热系数大致范围 502,000/(2)3,90025,000/(2)传热极限热流密度传热极限热流密度(无强化措施)(无强化措施)约90/2 约100150/2 冷却液冷却液 矿物油、合成油、沸点较高的电子氟化液等 沸点略高于室温的电子氟化液。常见沸点约 4961 影响因素
77、影响因素 冷却液流速、流态、循环温度等 系统压力、沸腾状态、冷凝盘管冷凝效果(盘管设计、不凝性气体等)等 敬请阅读末页的重要说明 22 行业深度报告 单相浸没式系统单相浸没式系统 两相浸没式系统两相浸没式系统 强化手段强化手段 1)通过冷却液增大流速、散热器优化等手段进行流态优化,诱发湍流;2)降低冷却液循环温度,增大传热温差 表面强化技术(翅片、表面粗糙度、多孔结构)系统设计系统设计 开式/闭式系统,系统设计简单,成本低 大多为闭式系统,系统设计复杂,成本高 市场应用市场应用 应用案例相对成熟,有基本成型的系统设计规范和标准 应用案例较少,多处于单机测试和展示阶段 主要企业主要企业 国外:美
78、国 Green Revolution Cooling、LiquidCool Solutions,英国 Iceotope Technologies、西班牙 Submer,荷兰LiquidStack 等;国内:阿里巴巴、中科曙光、华为等 国外:3M 国内:中科曙光 资料来源:数据中心浸没式液体冷却系统的发展历程及关键环节设计、招商证券 两相浸没式液冷系统细分结构:两相浸没式液冷系统细分结构:两相浸没式液冷式系统可分为卧式系统和立式系统两种:两相浸没式液冷式系统可分为卧式系统和立式系统两种:卧式系统:卧式系统:在盛有冷却液的壳体中,刀片服务器节点单元从上而下竖直插入轨道并浸没。该方案设计较为简单,成
79、本较低,可维护性较高,但是可靠性较差,一旦遭受冷却液污染等事故,后果较为严重;立式系统:立式系统:立式系统中每个密封单元内部都包括冷却液、单个服务器节点、控制系统、冷却结构等,可以看作单个独立的小型浸没式液冷系统。该方案成熟案例较少,成本比较高,但系统节点较为独立,可靠性更佳。图图 35:GRC 维也纳科学集群卧式系统维也纳科学集群卧式系统 图图 36:中科曙光硅立方立式系统:中科曙光硅立方立式系统 资料来源:数据中心浸没式液体冷却系统的发展历程及关键环节设计、招商证券 资料来源:数据中心浸没式液体冷却系统的发展历程及关键环节设计、招商证券 表表 11:两相浸没液冷卧式系统和立式系统对比:两相
80、浸没液冷卧式系统和立式系统对比 卧式系统卧式系统 立式系统立式系统 系统控制方案系统控制方案 由于在一个空间内集成了所有节点,因此只需对整体进行控制,控制过程和逻辑的设计相对简单,设计方案成熟 每个单元各自独立,都需要设计一套单独的控制过程,控制元件数量多、方案复杂且设计难度大 可靠性可靠性 服务器节点平行排列,节点间可能存在相互作用,例如某一节点热功率突然大幅度增大或发生故障,可能干扰临近节点,冷却液若遭到意外污染,导致液体物性(尤其是介电性能)发生变化,可能会对整个系统造成极其恶劣的影响,破坏内部所有电路元件,危害极大 节点单独密封,各自独立互不干扰,即便某一单元内的冷却液遭到污染,也不会
81、危及其他单元,安全可靠 维护性维护性 支持在线插拔维护,即某一节点取出维护时无需断开系统电源,不影响其他节点正常工作,但维护时,液体始终处于沸腾状态,沸腾蒸气泄漏量大 支持在线插拔维护,且开盖维护某一节点单元时,沸腾工质泄漏量小,但由于每个密封单元都含有冷却液、控制装置等结构,单元重量可能高达 40kg50kg,操作困难 敬请阅读末页的重要说明 23 行业深度报告 卧式系统卧式系统 立式系统立式系统 成本成本 整体制造成本和控制方案成本都相对低,且有比较成熟的案例和设计指南作为参考 除了机柜外,还需设计每个节点单元的密封外壳、控制装置、冷却结构,系统复杂,设计及制造成本高,且可供参考的市场应用
82、案例少,需要耗费较大的研制成本 资料来源:数据中心浸没式液体冷却系统的发展历程及关键环节设计、招商证券 2、主流第三方数据中心厂商布局情况主流第三方数据中心厂商布局情况 数据中心单机柜平均功率密度逐年提升,推动大型第三方数据中心单机柜平均功率密度逐年提升,推动大型第三方 IDC 企业布局液冷数据中心。企业布局液冷数据中心。算力的爆发式增长需要海量的服务器进行支撑,但受制于数据中心建设面积等客观因素,增加单机柜功率密度成为调和快速增长的算力需求与有限的数据中心承载力之间的有效方案。根据赛迪顾问中国液冷数据中心发展白皮书(2020)数据,预计 2025年全球数据中心单机柜平均功率有望突破 25kW
83、。随着 IDC 机柜功率密度向更高功率演进,多家大型第三方数据中心解决方案提供商对液冷数据中心展开了布局:润泽科技:润泽科技:公司部分外地所开发的客户在进行数字化转型业务时,需要公司提供液冷机柜,要求为 20kW 或30kW,冷板式液冷将成为公司未来主流的技术方向,客户对此接受度较好,已经开始准备批量交付液冷机房;光环新网:光环新网:公司 2022 年已有冷板式液冷空调项目正式完成验收,转入实际运行阶段;数据港:数据港:2020 年公司与阿里巴巴在华东地区合作部署了全球最大的浸没式液冷服务器集群,采用了液冷节能技术、高压直流(HVDC)、供配电分布式冗余(Distribution Redund
84、ancy)、智能 AI 优化算法等多项节能技术,其服务器浸泡在特殊冷却液中,PUE 逼近理论极限值 1.0,每年可节电 7000 万度以上,2021 年 5 月 5 日,该项目二期正式封顶,项目机架总数约 5,100 架,服务器达 10 万台;秦淮数据:秦淮数据:2022 年 10 月开园的秦淮数据马来柔佛超大规模数据中心一期,采用“预制板式液冷模块化数据中心技术”,通过国内预制生产、整体出海、现场拼装的交付模式,采用“冷板液冷+空气冷却(AHU)”的解决方案,在 11 个月内就已完成交付,总容量达 19MW,成为了中国首个热带地区冷板液冷规模应用的成功案例,实现了 PUE 值低于 1.2,能
85、源利用效率较传统制冷系统提高了 50%;万国数据:万国数据:2021 年 12 月,公司发布了第一代 Smart DC,重磅推出 Turbo、D-Pre、X-BP 全系列产品级解决方案,其中,Turbo-L 是覆盖统筹设计、建设交付、测试及运维能力的全链条液冷解决方案及产品。常熟数据中心园区将分期配置共计 2,200kW 的融合液冷方案,液冷数据中心年均 PUE 未来预计将低至 1.09;世纪互联:世纪互联:2022 年 6 月底,公司张家口数据中心基地华北云计算中心基地项目 2、3 号楼主体结构封顶,计划安装机柜数量约 5,200 架,承载服务器 70,000 台,通过采用服务器冷板式液冷、
86、间接蒸发冷空调、智能化运维与 AI 节能、分布式光伏并网发电等一系列先进技术和手段,实现 PUE 低于 1.15,WUE 低于 1.1。图图 37:全球数据中心单机柜功率变化情况及预测(:全球数据中心单机柜功率变化情况及预测(kW)图图 38:机柜功率密度所对应的散热冷却方式:机柜功率密度所对应的散热冷却方式 资料来源:Colocation America、赛迪顾问、招商证券 资料来源:绿色高能效数据中心散热冷却技术研究现状及发展趋势、招商证券 0500820162020E2023E2025E 敬请阅读末页的重要说明 24 行业深度报告 五、五、互联网、运营商等客户积极布
87、局液冷技术互联网、运营商等客户积极布局液冷技术 部部分互联网、运营商等客户积极布局液冷技术,其中,冷板式液冷技术相对更成熟,商业化应用案例较多,浸没式分互联网、运营商等客户积极布局液冷技术,其中,冷板式液冷技术相对更成熟,商业化应用案例较多,浸没式液冷受阿里云带动,逐渐成为各大企业着重布局的技术路线:液冷受阿里云带动,逐渐成为各大企业着重布局的技术路线:表表 12:互联网厂商、运营商、政府端液冷技术布局情况:互联网厂商、运营商、政府端液冷技术布局情况 主体类别主体类别 公司公司 浸没式液冷浸没式液冷 冷板式液冷冷板式液冷 部分液冷方案合作商部分液冷方案合作商/供应商供应商 互联网企业 阿里巴巴
88、 英特尔、数据港、中国联通 京东 英特尔、浪潮信息 华为 申菱环境 百度 英特尔 运营商 中国电信 网宿科技 中国联通 阿里巴巴 中国移动 政府端 天府云 资料来源:公司官网、公众号、招商证券 1、互联网厂商有望加速布局液冷技术互联网厂商有望加速布局液冷技术 供需两侧双轮驱动互联网厂商加速布局液冷技术。供需两侧双轮驱动互联网厂商加速布局液冷技术。互联网以及云服务厂商均有自建 IDC 布局,对数据中心液冷技术接触较早。当前,从供给端来看,新建 IDC 能耗指标有所收紧,从需求端来看,新一代 IT 技术催生了海量算力需求,持续推高 IDC 机柜的功率密度,对数据中心散热能力提出了考验,因此我们预计
89、互联网厂商将加速布局数据中心液冷技术,部分厂商液冷技术布局如下:阿里巴巴:阿里巴巴:作为中国领先的云服务提供商,阿里云在 2016 年就推出了首款商用浸没式液冷服务器。2017 年,阿里巴巴又建立起互联网行业全球首个浸没式液冷服务器集群,并于 2018 年在张北数据中心进行规模化部署,该数据中心单机柜负载为 28kW,机柜总量约 4,000 架,可容纳 10 万台服务器,数据中心平均 PUE 约为 1.19。2020 年 9 月,中国首座绿色等级达 5A 级的液冷数据中心阿里巴巴浙江云计算仁和数据中心落地杭州,采用浸没式液冷,整体 PUE 低至 1.09,相比传统风冷数据中心每年可节电 700
90、0 万度,2021 年 5 月 5 日,该项目二期正式封顶,项目机架总数约 5,100 架,服务器达 10 万台。2021 年 12 月 22 日,阿里云在“第十六届中国IDC 产业年度大典”上正式发布行业首款单相浸没液冷解决方案磐久 Immersion DC 1000 系列,在全球任何气象区域部署都能轻松实现 1.09 PUE,其中,液冷 AI 一体机可支持最大 40P Flops 算力并提供机柜间高达25.6T 的 AI 互联网络带宽能力;液冷存储一体机可支持 3.4P 的超大存储能力;图图 39:阿里云浸没式液冷模块:阿里云浸没式液冷模块 图图 40:阿里巴巴张北数据中心液冷系统:阿里巴
91、巴张北数据中心液冷系统 资料来源:IDC 圈、招商证券 资料来源:阿里云基础设施公众号、招商证券 敬请阅读末页的重要说明 25 行业深度报告 图图 41:阿里云磐久:阿里云磐久 Immersion DC 1000 系列系列 资料来源:阿里云基础设施公众号、招商证券 京东:京东:2022 年 3 月,京东云与浪潮信息联合发布“天枢(ORS3000S)液冷整机柜服务器”,该产品支持冷板式液冷,将 80%的发热量由冷板式液冷带热至外部冷却进行集中散热,使 IT 设备散热效率提升 50%,与传统风冷式整机柜相比,在数据中心部署总体能耗降低 40%以上,可将 PUE 降至 1.1 以下,机柜部属密度提升
92、 28.6%,基础设施能耗节省 30%,对应碳排放总量减少 10%以上。目前天枢冷板液冷整机柜服务器已在廊坊数据中心大规模部署,承载了京东集团核心业务,经历了京东 618、双十一、虎年央视春晚红包互动活动等的苛刻线上业务考验,产品稳定可靠,助力京东云数据中心降本增效;华为:华为:2017 年,华为推出了 FusionServer 板级液冷方案,以 FusionServer CH140L V3 半宽液冷计算节点为例,其专门为 HPC 及计算密集型的企业业务需求进行优化设计,具有超高密度计算能力。2018 年建造华为云松山湖数据中心,采用全预制模块化、高密度、高性能液冷集群,建设周期仅 4 个月,
93、单柜功率高达 53kW。2019 年发布 FusionServer Pro 冷板全液冷系统解决方案,以 FusionServer Pro CH121L V5 为例,其针对虚拟化、云计算、HPC、NFV 等业务需求进行优化设计,具有高密度计算能力和超大内存容量,可应用于高功耗密度服务器机柜部署场景。2022 年 8 月,华为最大的液冷集群和全球首个批量部署 FusionPOD 液冷服务器的云数据中心华为云乌兰察布数据中心成功运营,采用间接蒸发冷却方案和 iCooling 能效优化技术,实现了年均 PUE 低至 1.15,和传统冷冻水方案相比,每年可节省耗电量超过 3000 万度,每年减少二氧化碳
94、排放量约 1.4 万吨。图图 42:华为:华为 FusionServer CH140L V3 图图 43:华为:华为 FusionServer Pro CH121L V5 资料来源:易采办、招商证券 资料来源:九州云联、招商证券 2、运营商通过试点方式验证液冷技术性能,至运营商通过试点方式验证液冷技术性能,至 2025 年将开展规模应用年将开展规模应用 三大运营商将采取“技术验证三大运营商将采取“技术验证-规模试验规模试验-领先标杆”的渐进模式构筑自身高水平液冷生态链。领先标杆”的渐进模式构筑自身高水平液冷生态链。2023 年 6 月 5 日,中国移动、中国电信、中国联通联合发布电信运营商液冷
95、技术白皮书,明确运营商液冷技术发展的三年愿景,即2023 年开展技术验证;2024 年开展规模测试,新建数据中心项目中 10%规模试点应用液冷技术,推进产业生态成熟;2025 年开展规模应用,50%以上数据中心项目应用液冷技术,力争成为液冷技术引领者、推广者,形成完整的液冷产业生态。敬请阅读末页的重要说明 26 行业深度报告 图图 44:三大运营商液冷技术发展的三年愿景:三大运营商液冷技术发展的三年愿景 资料来源:电信运营商液冷白皮书(2023)、招商证券 2023 年起,三大运营商根据前期液冷技术试点经验开展规模试点。年起,三大运营商根据前期液冷技术试点经验开展规模试点。如 2023 年中国
96、移动将在呼和浩特数据中心国家发改委绿色节能示范项目以及智算中心项目中启动液冷规模试点;中国电信 2023 年计划在京津冀数据中心实施 30个液冷服务器机柜试点、在安徽建设 3 列,每列 7 台 36kW 冷板式液冷机柜,预留 8 台 40kW 浸没式液冷机柜、并在广州开展 1 个冷板式液冷服务器试点项目。三大运营商液冷技术应用计划明确,将主要推进冷板式液冷与单相浸没式液冷技术规模化应用。三大运营商液冷技术应用计划明确,将主要推进冷板式液冷与单相浸没式液冷技术规模化应用。冷板式液冷方面,2023 年三大运营商将协同产业链厂家联合技术攻关与研发,年底前将形成冷板式液冷技术标准,2024 年提交行业
97、组织协会审核,并在 2023 年底前推动冷板式液冷机柜测试工作,2024 年年中完成规模验证。单相浸没式液冷方面,2023 年三大运营商将启动调研交流,并争取在年底前形成统一的技术标准,2024 年开展系统兼容性、服务器定制、冷却液国产替代等研发与试点验证。表表 13:三大运营商液冷技术技术布局规划:三大运营商液冷技术技术布局规划 冷板式液冷冷板式液冷 浸没式液冷浸没式液冷 2023 年年 协同产业链厂家联合技术攻关与研发;年底前形成冷板式液冷技术标准;组织研发新型机柜、并进行测试工作;启动调研交流,争取年底前形成统一技术标准 2024 年年 技术标准提交行业组织协会;打造解耦液冷机柜+统一接
98、口服务器+柔性基础设施的完整生态;新型机柜年中完成规模认证 开展系统兼容性、服务器定制、冷却液国产替代等研发与试点验证 2025 年及以后年及以后 规模推广 资料来源:电信运营商液冷白皮书(2023)、招商证券 技术验证方面,技术验证方面,2017 年起,三大运营商便开始组织前期液冷技术验证,年起,三大运营商便开始组织前期液冷技术验证,包含冷板式液冷测试、浸没式液冷测试、喷淋式液冷测试等,具体来看:(1)中国移动中国移动 公司 2017 年在呼和浩特组织热管水冷、两级热管和水冷冷板等三种冷板式液冷测试。2019-2021 年在河北、山东组织核心路由器液冷、江苏组织 5G BBU 浸没式液冷、浙
99、江组织汇聚机房浸没式液冷试点。敬请阅读末页的重要说明 27 行业深度报告 图图 45:中国移动呼和浩特冷板式液冷测试:中国移动呼和浩特冷板式液冷测试 图图 46:中国移动:中国移动 5G 基站单相浸没式液冷试点基站单相浸没式液冷试点 资料来源:电信运营商液冷白皮书(2023)、招商证券 资料来源:电信运营商液冷白皮书(2023)、招商证券(2)中国电信中国电信 5G BBU 液冷系统试点方面,液冷系统试点方面,针对 5G BBU 发热量大、散热难的突出问题,公司 2020 年 10 月启用收购 5G BBU 液冷试点,上线 2 个液冷机柜,经过长期测试,轻负载率条件下 PUE 值约 1.246
100、,满负载率条件下 PUE 值约 1.15。数据中心液冷试点方面,数据中心液冷试点方面,2018 年,公司在广州安装冷板式液冷微模块(2 列服务器机柜)与风冷微模块各 1 个,液冷微模块 PUE 约为 1.2(风冷微模块 PUE 为 1.4),冷板式液冷节能效果明显。图图 47:中国电信:中国电信 5G BBU 机柜液冷试点机柜液冷试点 图图 48:中国电信广州数据中心冷板式微模块试点:中国电信广州数据中心冷板式微模块试点 资料来源:电信运营商液冷白皮书(2023)、招商证券 资料来源:电信运营商液冷白皮书(2023)、招商证券 根据工信部通信工程建设项目招标投标管理信息平台,2022 年中国电
101、信上海公司启动了 5G CU/DU 液冷机柜建设项目采购液冷系统项目,最高投标限价为 807.12 万元,项目涉及产品为模块化 DC 舱,包含 R4 液冷系统和 R6 液冷系统,具体配置包括液冷机柜、室外散热系统、液泵循环柜和配电模块。同年 7 月,中国电信与网宿科技联合展出了全融合液冷微型机柜和 5G BBU 液冷机柜,以直接浸没式液冷技术为核心,通过冷却液循环进行直接散热,可降低 PUE 值至 1.1 以下,提升节能效率 30%以上;表表 14:上海电信液冷招标:上海电信液冷招标 涉及的主要评涉及的主要评估产品品类估产品品类 产品名称产品名称 数量数量 基本配置基本配置 单位单位 备注备注
102、 模块化 DC 舱 R4 液冷系统(浦东局)3 液冷机柜 4 含管道及管道配件、散力支架 室外散热系统 2 液泵循环柜 1 配电模块 1 R4 液冷系统(西区局)1 液冷机柜 4 含管道及管道配件、散力支架 室外散热系统 2 液泵循环柜 1 配电模块 1 R4 液冷系统(松江局)2 液冷机柜 4 含管道及管道配件、散力支架 室外散热系统 2 敬请阅读末页的重要说明 28 行业深度报告 液泵循环柜 1 配电模块 1 R6 液冷系统(松江局)2 液冷机柜 6 含管道及管道配件、散力支架 室外散热系统 1 液泵循环柜 1 配电模块 1 资料来源:TM 热管理+公众号、招商证券(3)中国联通中国联通
103、数据中心液冷试点应用方面,数据中心液冷试点应用方面,公司在德清云数据基地 IDC 高功率机房中安装冷板式液冷机柜 32 架,2021 年 6 月投产,已稳定运行两年时间,制冷效果良好。BBU 集中机房液冷试点应用方面,集中机房液冷试点应用方面,2021 年 10 月,公司在郑州开展 9 台5G BBU 设备液冷喷淋测试,配置一套 10kW 液冷机柜,液冷机柜 PUE 为 1.254,较风冷方案(PUE 为 1.448)PUE 明显降低,若考虑液冷模式下主设备 BBU 取消风扇的因素,则 BBU 液冷系统 PUE 值为 1.16。3、多个政府项目采用液冷系统作为主流冷却技术多个政府项目采用液冷系
104、统作为主流冷却技术 以超算中心为主,多个政府项目采用液冷系统。以超算中心为主,多个政府项目采用液冷系统。从国家层面来看,随着新一代 IT 技术、产业数字化转型等多样化算力需求场景不断涌现,算力的赋能效应逐渐凸显,政府对于算力基建的投入逐渐加大,尤其在超算中心建设方面,国家给予了大力的支持和指导,目前已有多个政府项目采用液冷作为换热系统,未来搭载液冷系统的超算中心有望成为主流。天府云数据产业基地:天府云数据产业基地:2022 年 8 月 15 日,位于成都简阳空天产业园的四川能投天府云数据产业基地一期项目的结构施工已全部完成,2 栋数据中心、1 栋运营中心大楼均已封顶,该项目设计机柜共 5,00
105、0 个,采用冷板式液冷、水冷+自然冷却和余热回收等技术,依托四川能投自身的绿色能源优势,借力集团在相变液冷、地热、储能、氢能等方面的内部资源,实现项目 PUE 小于 1.25 的目标。合肥先进计算中心:合肥先进计算中心:2020 年 12 月 31 日,由合肥市大数据资产运营有限公司建设的合肥先进计算中心一期机房顺利完工,系统建设规模为双精度计算峰值 12PFlops、整数计算峰值 256Pops、数据总存储容量 15PB,项目采用浸没式液冷技术,将 PUE 控制在 1.1 左右。国家超级计算郑州中心:国家超级计算郑州中心:2020 年 11 月,国家超级计算郑州中心通过验收,项目配备新一代高
106、性能计算机“嵩山”超级计算机,理论峰值计算能力 100PFlops,存储容量 100PB,采用浸没式相变液冷冷却技术,PUE值低于 1.04。国家超级计算深圳中心:国家超级计算深圳中心:2022 年 11 月 14 日,我国在建的最大超算中心国家超级计算深圳中心项目二期正式开工,项目投资额 120 亿元,将采用曙光的浸没式液冷服务器。国家超级计算成都中心:国家超级计算成都中心:2020 年 9 月,国家超算成都中心投运,项目采用浸没式相变液冷技术为超算核心设备提供高效换热,最高运算速度达 10 亿亿次/秒。国家超级计算昆山中心:国家超级计算昆山中心:2020 年,国家超级计算昆山中心建设项目顺
107、利通过科技部组织的专家验收,项目总算力达 400Pflops。拥有 CPU+DCU 计算单元结构,CPU 采用国产曙光 7000 系列,DCU(类 GPU 结构)采用国产海光 1 号加速器,项目采用了曙光的全浸没液冷服务器。敬请阅读末页的重要说明 29 行业深度报告 六、六、解耦交付模式符合液冷技术路线的发展趋势解耦交付模式符合液冷技术路线的发展趋势 1、解耦交付模式及解耦方案简介解耦交付模式及解耦方案简介 当前液冷方案交付模式包括一体化交付与解耦交付两种方案。当前液冷方案交付模式包括一体化交付与解耦交付两种方案。解耦交付是液冷机柜与液冷服务器之间遵循用户统一制定的接口设计规范,机柜与服务器解
108、耦,可由不同厂商交付;一体化交付是液冷整机柜(包括机柜和服务器)由厂商自定标准进行集成设计开发,整机柜由同一厂商一体化交付。当前超聚变、华为、浪潮、曙光、新华三等主要液冷服务器厂商皆拥有自己的一体化交付方案与解耦交付方案。图图 49:一体化交付与解耦交付方案:一体化交付与解耦交付方案 资料来源:电信运营商液冷白皮书(2023)、招商证券 表表 15:主要服务器厂商一体化:主要服务器厂商一体化/解耦交付模式解耦交付模式 厂商厂商 液冷技术液冷技术 服务器形态服务器形态 一体化交付一体化交付 解耦交付解耦交付 超聚变 冷板式 机架 整机柜/单节点 盲插快接 华为 冷板式 机架 整机柜 盲插快接 浪
109、潮 冷板式 机架 整机柜/单节点 盲插/软管快接 曙光 冷板式 机架/刀片 整机柜 软管快接 H3C 冷板式 机架 整机柜/单节点 软管快接 资料来源:电信运营商液冷白皮书(2023)、招商证券 解耦交付方案又包含手插与盲插接头两种模式,手插接头对于运维人员要求较高、盲插液冷解耦交付方案又包含手插与盲插接头两种模式,手插接头对于运维人员要求较高、盲插液冷接头符合自动巡检的长接头符合自动巡检的长期发展趋势。期发展趋势。由于液冷产品涉及液冷接头的维护工作,手插接头对于运维人员的要求极高、插拔操作也极度依赖机房运维人员,相比之下盲插液冷接头具有自动化保障、操作便利、连接精度高的优势,符合未来自动巡检
110、、机器人自动运维的时代发展趋势。盲插解耦方案采用标准机柜、盲插制冷管路、集中供电模块,可选配分布式盲插解耦方案采用标准机柜、盲插制冷管路、集中供电模块,可选配分布式 CDU 及无源风液换热器,将有效提升及无源风液换热器,将有效提升机柜功率密度、降低机柜功率密度、降低 PUE 水平、节省布线空间并提高机柜上架率。水平、节省布线空间并提高机柜上架率。其中主要包含:1)标准机柜:产品整体形态为标准机柜形态,用以部署服务器、交换机等设备;2)供冷盲插:服务器与机柜之间通过盲插快速接头连接;3)供电盲插:利用电源框、电源模块、供电铜排向机柜内设备集中供电,支持盲插操作。图图 50:盲插解耦交付方案示例:
111、盲插解耦交付方案示例 资料来源:电信运营商液冷白皮书(2023)、招商证券 敬请阅读末页的重要说明 30 行业深度报告 2、解耦交付模式的多重优势解耦交付模式的多重优势 解耦交付模式有利于促进行业竞争、实现多厂家适配、便于后期灵活部署。解耦交付模式有利于促进行业竞争、实现多厂家适配、便于后期灵活部署。目前液冷技术在产业化与标准化方面还处于发展前期阶段,液冷服务器与机柜的一体化交付模式不利于液冷产业的标准统一。相较于一体化交付模式,解耦交付模式在机房管理、安装部署、采购、运维管理方面都具有明显优势:1)机房管理方面:解耦交付模式可形成统一标准机规范,方便后续管理;2)安装部署方面:解耦交付模式需
112、要基础设施和服务器厂商协调合作,便于批量生产与规模推广;3)采购模式:解耦交付模式中机柜和服务器分别采购,促进市场竞争,降低买家采购价格与厂商限制;4)运维管理方面:解耦交付模式后期运维方式相同,便于统一管理。随着液冷产业生态的逐步完善,解耦交付模式将有效促进市场竞争、形成统一液冷技术标准与规范、实现多厂家适配与产品灵活部署,进而降低需求方部署液冷解决方案的整体 TCO。三大运营商在电信运营商液冷白皮书明确指出,将联合产业链上头企业制定标准化接口,形成统一标准。根据国家网信办数字中国发展报告(2022 年)、工信部及运营商年报数据,截至 2022 年底,我国数据中心机柜总数已超过 650 万架
113、,三大运营商共拥有标准机柜 134.3 万架,约占全国总机柜的 21%。未来,三大运营商将加快推进液冷技术试点,并于 2025 年在 50%以上项目中规模应用,这将带动行业统一技术标准的加速落地,并形成良好的多厂商竞争生态,这意味着解耦交付模式将在后续液冷解决方案规模化、产业化的发展过程中表现出明显的竞争优势。表表 16:解耦交付与一体化交付模式对比:解耦交付与一体化交付模式对比 交付模式交付模式 解耦交付解耦交付 一体化交付一体化交付 服务器厂商职服务器厂商职责范围责范围 提供液冷服务器设备并明确相关使用要求 提供液冷整机柜及二次侧管路的整体设计解决方案 服务器服务器 多厂家 单厂家 整体适
114、配性整体适配性 根据既定接口及标准分别生产机柜与服务器,测试阶段进行适配 原厂机柜和原厂服务器适配性较好,无法与非原厂设备匹配 整体机房管理整体机房管理 可形成统一标准及规范统一标准及规范,后续易管理 各厂家标准不同,不容易对接 安装部署安装部署 批量生产、规模推广、灵活部署批量生产、规模推广、灵活部署;基础设施和服务器厂家需协调合作协调合作,机柜供应商提供机柜级的漏液监测功能 与服务器结合部署 采购模式采购模式 机柜与服务器分别采购,促进竞争,有利于降低价格 统一采购,受厂家限制较多 运维管理运维管理 机柜与服务器分别交付,需明确责任界面、责任主体,各机柜及服务器配置统一、运维方式相运维方式
115、相同、易于统一管理同、易于统一管理 同厂家整机柜交付,责任界面清晰,但各厂家运维方式、接口、数据类型不同,需要分别运维管理 服务器服务器/整机整机交付周期交付周期 盲插快接:盲插快接:对现有软管快接厂家、服务器深度定制开发,交付周期约 9 个月;软管快接:软管快接:对服务器进行浅度定制开发或无需定制,交付周期约 3 个月 主流厂商已有量产产品 资料来源:电信运营商液冷白皮书(2023)、招商证券 敬请阅读末页的重要说明 31 行业深度报告 风险提示:算力投资不及预期、产业竞争加剧风险、液冷技术进展不及预期风险提示:算力投资不及预期、产业竞争加剧风险、液冷技术进展不及预期 图图 51:通信通信行
116、业历史行业历史 PEBand 图图 52:通信通信行业历史行业历史 PBBand 资料来源:公司数据、招商证券 资料来源:公司数据、招商证券 05000250030003500400045005000Jun/21Dec/21Jun/22Dec/2202004006008000Jun/21Dec/21Jun/22Dec/22 敬请阅读末页的重要说明 32 行业深度报告 分析师分析师承诺承诺 负责本研究报告的每一位证券分析师,在此申明,本报告清晰、准确地反映了分析师本人的研究观点。本人薪酬的任何部分过去不曾与、现在不与,未来也将不会与本报告中的具体推荐或
117、观点直接或间接相关。梁程加梁程加 招商证券通信行业首席分析师招商证券通信行业首席分析师 北京邮电大学电路与系统硕士,曾就职于中国移动、长江证券、中信证券、红杉资本,2022 年加入招商证券。孙嘉擎孙嘉擎 招商证券通信行业分析师招商证券通信行业分析师 伦敦大学国王学院金融学硕士,思克莱德大学学士,21 年加入招商证券,专注于运营商、IDC、云计算及云通信等相关领域研究。评级评级说明说明 报告中所涉及的投资评级采用相对评级体系,基于报告发布日后 6-12 个月内公司股价(或行业指数)相对同期当地市场基准指数的市场表现预期。其中,A 股市场以沪深 300 指数为基准;香港市场以恒生指数为基准;美国市
118、场以标普 500指数为基准。具体标准如下:股票评级股票评级 强烈推荐:预期公司股价涨幅超越基准指数 20%以上 增持:预期公司股价涨幅超越基准指数 5-20%之间 中性:预期公司股价变动幅度相对基准指数介于 5%之间 减持:预期公司股价表现弱于基准指数 5%以上 行业评级行业评级 推荐:行业基本面向好,预期行业指数超越基准指数 中性:行业基本面稳定,预期行业指数跟随基准指数 回避:行业基本面转弱,预期行业指数弱于基准指数 重要重要声明声明 本报告由招商证券股份有限公司(以下简称“本公司”)编制。本公司具有中国证监会许可的证券投资咨询业务资格。本报告基于合法取得的信息,但本公司对这些信息的准确性
119、和完整性不作任何保证。本报告所包含的分析基于各种假设,不同假设可能导致分析结果出现重大不同。报告中的内容和意见仅供参考,并不构成对所述证券买卖的出价,在任何情况下,本报告中的信息或所表述的意见并不构成对任何人的投资建议。除法律或规则规定必须承担的责任外,本公司及其雇员不对使用本报告及其内容所引发的任何直接或间接损失负任何责任。本公司或关联机构可能会持有报告中所提到的公司所发行的证券头寸并进行交易,还可能为这些公司提供或争取提供投资银行业务服务。客户应当考虑到本公司可能存在可能影响本报告客观性的利益冲突。本报告版权归本公司所有。本公司保留所有权利。未经本公司事先书面许可,任何机构和个人均不得以任何形式翻版、复制、引用或转载,否则,本公司将保留随时追究其法律责任的权利。