1、1112G 高速互连白皮书ODCC-2022-03006分布式存储技术与产业分布式存储技术与产业分析报告分析报告编号 ODCC-G 高速互连白皮书开放数据中心标准推进委员会开放数据中心标准推进委员会2022-09 发布发布I112G 高速互连白皮书ODCC-2022-03006版权版权声声明明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为

2、，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。II112G 高速互连白皮书ODCC-2022-03006编制说明编制说明本报告在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员：参编单位（排名不分先后）：中国信息通信研究院（云大所）、腾讯、阿里巴巴、Keysight、锐捷网络、立讯技术、Amphenol、深南电路、中航光电、Credo、H3C、Broadcom、Nvidia、兆龙互联、FIT参编人员（排名不分先后）：沈大勇、孙安兵、廖栽宜、吴季元、蒋修国、李智、朱朋、袁双峰、罗振、鲁中原、梁勇、Vincent Tsai、崔朋、陈亮、程传胜、韩燕、何宗应、胡

3、新毅、李凯、李娜、刘超、刘维纲、Sandeep Shah、万川、王建、康浩浩、杨光、张灿、汪超、朱峰峰、曾照龙、郝豫鲁、金晓光、杨简、王春霞、王少鹏、孙聪III112G 高速互连白皮书ODCC-2022-03006前言前言在当前信息技术快速发展的背景下，数据中心做为算力承载的物理实体，其需求是反映人类社会信息化、智能化的持续趋势。为了满足这种强大的数据需求，数据中心网络需要更大的带宽，提升物理层单链路的速率成为一个最重要的提升带宽的方法，这也是推动数据中心网络高速发展的原始动力。随着物理层单链路达到 112Gbps,数据中心网络将会在络系统设计、设备整机设计、关键组件设计多个方面面临巨大的信号

4、完整性的挑战。ODCC网络工作组 2021 年 12月正式启动112G 高速互连白皮书项目开发工作。项目主要围绕基于 112Gbps SerDes 下的网络设备高速系统设计、系统测试方案及方法研究、高速互连系统仿真、对新一代系统设备的印刷电路板、高速背板连接器与 IO 连接器、高速铜缆设计与应用这些方面阐述 112G高速系统设计的方法，推动基于 112G SerDes 的网络设备开发技术上达成广泛一致的设计方法和目标。IV112G 高速互连白皮书ODCC-2022-03006目录目录版权声明.I编制说明.II前言.III一、背景介绍.9二、112G 高速互连系统设计.10（一）互连设计方案.1

5、01 高速互连通用形式.102 板内中短距芯片方案.103 跨背板长距芯片方案.11（二）芯片到光模块方案.111 共封装方案 CPO.112 近芯片 NPO 方案.123 传统可插拔方案.13（三）高速互连的设计关键.141 高速通道特性.142 大电流电源设计.163 互连成本.16（四）112G 收发器（SerDes）.161 通道损耗对信号的劣化.172 PAM4、FEC、误码传播.193 架构特性.21V112G 高速互连白皮书ODCC-2022-03006三、112G 高速互连系统测试技术.21（一）测试背景与需求解析.211 测试环境说明.23（二）发射机测试项目.251 电发射

6、机测试.252 光发射机测试.26（三）接收机测试项目.271 电接收机测试.272 光接收机测试.283 FEC 性能测试.29（四）线缆及 PCB 背板通道测试项目.301 无源及有源铜缆（DAC 及 AEC）测试.302 PCB 背板测试.30四、112G 高速互连系统仿真技术.31（一）典型的链路拓扑.31（二）无源仿真.321 封装仿真.322 过孔仿真.333 连接器和线缆仿真.354 无源链路仿真拓扑.36（三）有源仿真.36（四）仿真结果的评估.371 无源仿真结果.37VI112G 高速互连白皮书ODCC- COM 仿真结果.383 PAM4 模型仿真结

7、果.394 光电联合仿真（EOE 仿真）.40五、112G 高速互连 PCB 技术.41（一）高速系统 PCB 技术需求概述.41（二）112G 高速互连系统 PCB 板材需求.421 PCB 板材的玻璃布技术趋势及要求.422 PCB 板材的铜箔技术趋势及要求.43（三）112G 高速互连 PCB 信号完整性要求.441 信号完整性关键控制点.452 PCB 信号完整性测试建议.473 PCB 关键技术规格设计建议.48六、112G 高速互连背板连接器技术.49（一）Backplane/B2B 连接器介绍及应用概况.491 Backplane/B2B 连接器简介.492 Backplane/

8、B2B 连接器应用概览.50（二）连接器 SI 评估条件要求.53（三）连接器 SI 指标.54（四）连接器机械/电气/环境评估条件要求.58七、112G 高速互连 IO 连接器技术.63（一）112G 高速 IO 连接器介绍及应用概况.631 112G 高速 I/O 连接器简介.632 112G 高速 I/O 连接器应用概览.64VII112G 高速互连白皮书ODCC-2022-03006（二）112G 高速 I/O 连接器接口类型.64（三）112G 高速 I/O 连接器设计.65（四）结构设计（以 QSFP112 为例）.67（五）电气性能要求.681 测试方法（以 QSFP112 为例

9、）.682 测试报告参考模板（以 QSFP112 为例）.743 高速 SI 规格相关测试方法补充.75八、112G 高速互连高速铜缆技术.79（一）高速铜缆介绍及运用概况.791 高速铜缆简介.792 高速铜缆运用概况.80（二）112G 系列高速铜缆接口类型.82（三）高速铜缆设计.831 铜缆结构设计.832 铜缆电路设计.833 管理界面标准.84（四）高速铜缆的测试和认证.871 信号完整性测试项目要求及方法.872 电气可靠性测试要求.883 机械可靠性测试要求.884 环境可靠性测试要求.895 液冷兼容性测试要求.896 测试报告参考模板.90VIII112G 高速互连白皮书O

10、DCC-2022-03006九、112G 高速互连高液冷技术.90（一）浸没式液冷环境下高速传输技术介绍及应用概况.901 浸没式液冷环境简介及应用概况.902 浸没式液冷环境对高速传输技术的影响.91（二）浸没式液冷环境下高速连接器及线缆设计.911 结构设计.922 SI 设计.92（三）浸没式液冷环境下高速无源器件测试和认证.971 测试项目要求及方法.972 可靠性测试要求.989一、一、背景介绍背景介绍数据中心作为新基建的重要“底座”，是助推数字经济发展的重要力量。在国家战略的指引下，推进数据中心产业高质量发展，成为全行业“十四五”随着人工智能、大数据、分布式存储以及边缘计算等技术的

11、发展及广泛应用，数据中心对高吞吐和大带宽的需求越发迫切，除了需要处理指数级增长的数据量和分布式低延迟处理之外，在超大规模数据中心内，硬件加速器和深度学习功能的集成也正在以更高的功率消耗来获取更高的带宽，对数据中心的建设也带来了更高的挑战和要求。网络硬件作为数据中心的基础构成，物理层网络链路也应该遵循简单、高可靠以及高性能这一原则来进行设计和应用。以太网速度已经从 25G/50G 增长到如今的 400G/800G，并有望很快达到 1.6T。作为超大规模数据中心不可或缺的一部分，交换机支持的带宽从 12.8Tb/s、25.6Tb/s 增长到如今的 51.2Tb/s，芯片将需要 512 个 SerD

12、es 通道，每个通道以 100Gb/s 速度运行。在可提供100G、200G、400G、800G 等不同链路带宽的同时，匹配不同 IDC 部署环境和不同业务需求，带来了物理链路的方案多样性、个性化的需求，这对网络物理链路带来了非常大的挑战。图1 以太网单通道速率的提升&总体速率的提升（Ethernet Alliance）过去 30 多年间，以太网单通道信号速率从 10M 到 56G，提升了几千倍，使得物理层高速互连设计的难度也越来越大，是网络设备的主要技术难点之一。随着更高的每通道 112 Gbps 时代的到来，很明显，业内正在面对新的技术解决10112G 高速互连白皮书ODCC-2022-0

13、3006方案的挑战。本文讨论和介绍可能的系统互连硬件实现方案和设计关键，这些应用方案可能在 112G 系统开发中得到广泛的应用。二、二、112G112G 高速互连系统设计高速互连系统设计（一）（一）互连设计方案互连设计方案1 1高速互连通用形式高速互连通用形式在一个典型的系统中芯片对芯片、芯片对光模块、光模块对光模块之间的连接，通过连接器、PCB 传输线、铜电缆或者光纤互连。这些互连可以是单向的或双向的、光的或电的，并且可以支持一定范围的数据速率，通常他们各自需要满足对应的接口标准。对于每个互连形式，设计中的考虑因素包括：链路性能、成本、工作温度、可加工可装配性、长期可靠性等。图2 112G可

14、能的高速互连形式2 2板内中短距芯片方案板内中短距芯片方案同一 PCB 板卡内或子卡上的两个芯片之间互连，是最简单的形式。这种方案的长度相对较短，从 50mm 到 500mm 不等，可以包括一个或者多个连接器。11112G 高速互连白皮书ODCC-2022-03006图3 中短距芯片间互连典型方案模型1图4 中短距芯片间互连典型方案模型2此方案典型的标准参考是 CEI-112G-MR-PAM4，最大损耗要求为 20dB，推荐的 500mm 长度是采用 PCB 布线，可以使用损耗更低的 cable 来替代，以达到更长的长度。高速通道的设计需要满足 com 要求，以保证设计裕量足够。FEC 后的误

15、码率要求为 1e-15 或者更好。3 3跨背板长距芯片方案跨背板长距芯片方案芯片通过机箱内的背板或者中间板在不同板卡之间进行通信，一般经过的连接器量为 1 个（如正交方案）和两个（传统背板方案），设计目标长度通常为 1m。图5 传统背板方案模型图6 正交背板方案这种方案通常为电气接口，可以遵循的标准为 100GBASE-KR1、200GBASE-KR2、400GBASE-KR4 和 CEI-112G-LR-PAM4，是 112G 互连系统的最大损耗链路，主要的设计要求：com 要求、插入损耗要求、回损要求、差共模转换要求。（二）（二）芯片到光模块方案芯片到光模块方案1 1共封装方案共封装方案

16、CPOCPO这种方案将芯片和光器件封装在一个基板中，共封装的解决方案提供了高质量的信号通道，具有以下主要特点：近距离、非常好的信号完整性、低功耗、12112G 高速互连白皮书ODCC-2022-03006低成本、可实现光器件的无 DSP 方案；更适合多通道、无需解决传统可插拔光模块的散热。当前的缺点是可维护性差，且不利于产业合作。图7 CPO互连方案图8 CPO互连方案布局图CPO 应用可以遵循的标准是 OIF CEI-112G-XSR 和 XSR+协议,设计目标损耗最高 10dB（XSR）和 13dB（XSR+），bump to bump，传输线差分阻抗为92.5ohm，传输距离推荐为封装基

17、板 50mm 长度，可以包括一个连接器，通道设计需要满足协议的 com 指标，误码率目标为 FEC 后小于 10e-15。图9 XSR协议应用模型图10 XSR协议应用模型2 2近芯片近芯片 NPONPO 方案方案相对 CPO 方案的共封装设计，NPO 方案的光接口与芯片不在一个封装内，而是放置在离主机芯片非常近的位置，相对传统可插拔方案，仍然实现了近距离，较好的信号完整性、可实现光器件的无 DSP 方案，相对传统可插拔光模块，可维护性一般。13112G 高速互连白皮书ODCC-2022-03006图11 NPO互连方案图12 NPO互连方案布局图NPO 应用可以遵循的标准是 CEI-112G

18、-XSR+和 CEI-112G-LINEAR 协议,其中CEI-112G-LINEAR 设计目标 host 侧最大损耗 7dB，传输线差分阻抗为 92.5ohm，可通过封装基板（推荐 50mm 长度）或者 PCB 实现传输，可以包括一个连接器，通道设计需要满足协议的 com 指标，误码率目标为 FEC 后小于 10e-15。图13 linear标准要求3 3传统可插拔方案传统可插拔方案截止到现在，在设备的前面板上支持可插拔模块是应用最广泛的方案。图14 传统可插拔方案图15 CEI-112G-VSR设计要求14112G 高速互连白皮书ODCC-2022-03006这种方案是工程师最熟悉的设计，

19、可以遵循标准为 CEI-112G-LINEAR，CEI-112G-VSR 和 IEEE 100GAUI-1C2M，IEEE 200GAUI-2C2M，IEEE 400GAUI-4C2M 标准。当需要支持外接 cable 应用时，可遵循标准 100GBASE-CR1,200GBASE-CR2和 400GBASE-CR4。设计中可以包含至少 200mm 长度的 PCB 布线长度，一个连接器以及光模块上的电容。设备侧可以达到的最大设计长度与采用的链路材料强相关，以下表 21 为当前常用材料的理论最大长度预估，实际设计时需综合考虑其他设计因素如过孔损耗等。表1 CEI-112G-VSR协议可支持的设备

20、侧长度分析链路材料损耗（dB/inch）设备最大设计长度低损耗板材1.39.2inch超低损耗板材112inch极低损耗板材0.717inch线缆cable0.524inch（三）（三）高速互连的设计关键高速互连的设计关键行业目前有 10Gb/s、25Gb/s 和 56Gb/s 的电气接口可供使用，目前正在进行 112Gb/s 的开发工作，以满足更高的数据速率需求。然而，传统铜互连的带宽受到严重限制，使用高速通道的设计越来越困难。同时，芯片功耗的剧烈上升，使得互连设计中电源通道设计的挑战成倍增加。1 1高速通道特性高速通道特性高速通道的实现由可支撑的损耗预算决定损耗由链路长度、板材、连接器、过

21、孔等无源损耗节点决定。15112G 高速互连白皮书ODCC-2022-03006在网络设备中，前面区域通常由用于系统间通信的光模块占据，而系统内的板卡通信通过背板/中板连接。为了支持合理的系统尺寸，系统背板/中面板长距离连接通常需要达到 1m 的距离。在 112Gb/s 的电气串行速率下，达到这种距离已经需要使用先进的低损耗电路材料和高性能连接器来满足损耗预算。芯片基片和印刷电路板（PCB）材料（介质和导体）影响总损耗。下图是对 56G 和112G 主流板材损耗分析，PCB 板材性能改善提升了 30%左右，详细内容参考第五章高速互连 PCB 内容。图16 PCB板材性能改进在考虑高速通道设计时

22、，传统的方案是典型的 PCB 铜导线和连接器结构，但潜在的电气互连方案可能是：被性能更好的 cable 取代。cable 的设计也有自己的挑战，尤其是在装配过程和返工操作中，以及 cable 带来的成本问题。将中继芯片引入信号通道以增加成本，功耗和设计复杂性为代价增加了线长覆盖范围。对于背板/中板应用，像前面板一样使用光信号连接，也是一个可能的路径，以适应不断增长的数据速率和传输距离要求。其他需要考虑的重要因素是高速通道各种组件的阻抗和串扰特性，如芯片封装和连接器，他们可以优化整体通道性能。对于 112Gbps，回损对低损耗信16112G 高速互连白皮书ODCC-2022-03006道的影响变

23、得很明显。基于这一认识，112Gbps 的应用将需要更多的权衡插入损耗以外因素的影响。2 2大电流电源设计大电流电源设计随着电源电流的成倍增加，电源通道设计面临挑战，ASIC 的低压电源、纳米技术的趋势以及更高集成度的影响使得设备总功率显著增加，这实际上需要极高的电流通流和电压稳定性，必须控制在几个 mv 的公差范围内，这需要更严苛的电源设计来满足要求。表2 芯片电流随信号速率增长的典型数据信号速率信号速率25Gbps25Gbps56Gbps56Gbps112Gbps112Gbps单芯片最大电流单芯片最大电流200400A400800A700A1000APCBPCB 功耗功耗2030W3040

24、W5060W电源压差要求电源压差要求10mv8mv4mv需要的需要的 2oz2oz 层数层数2463 3互连成本互连成本信号速率翻倍至 112 Gbps，以损耗为代表的的高速通道困难也会变得难以克服，使得高速互连工程师倾向采用最先进的印刷电路板或电缆技术等各种新方案，这必然带来成本的上升甚至翻倍，如何平衡性能需求和成本管控，需要全面评估后的谨慎选择。（四）（四）112G112G 收发器（收发器（SerDesSerDes）高速信号在无源通道传播中会产生畸变，造成接收端信号信噪比（S/N）恶化，形成误码。系统实现中，通道造成的畸变不可避免，要求 SerDes 具有信号恢复的能力。无源通道对信号的影

25、响通常分为：损耗（Loss）、反射（Reflection）和串扰（Crosstalk）。串扰影响是不确定性（Un-Deterministic），不能被纠正（Corrected）；损耗和反射影响是确定性的（Deterministic），理论上可纠正，反射噪声通过 SerDes 恢复较为困难。SerDes 能力主要表现为对损耗造成17112G 高速互连白皮书ODCC-2022-03006畸变的恢复，因此通常采用信号通过“最大通道损耗”且能恢复来简单表征SerDes 能力。1 1通道损耗对信号的劣化通道损耗对信号的劣化频域上看，无源通道衰减呈低通特性，低频损耗小，高频损耗大，造成信号幅度变小和畸变；

26、从时域上看，高频衰减使得信号上升下降沿变缓，单位间隔（UI）内的信号能量扩张到相邻 UI 中，形成码间串扰（ISI）噪声（NISI）。无源通道时域冲激函数和频域传递函数分别为：c(t)和 Hc(s)。图17 通道损耗造成信号畸变示意发送 Tx 时域冲击函数和频域传递函数为：Txffe(t)和 HTxffe(s)接收 Rx 时域冲击函数和频域传递函数为：RxEQ(t)和 HRxEQ(s)系统端到端的时域冲击函数为：end2endt=Txffet ct RxEQ(t)系统 端到 端的频 域传 递函 数为：Hend2ends=HTxffe(s)Hc(s)HRxEQ(s)频域上看，信号无畸变则系统频域

27、传递函数接近于“1”，即 SerDesTx&Rx 的均衡效果HTxffe(s)HRxEQ(s)尽可能接近于通道传递函数的倒数(1/Hc(s)。18112G 高速互连白皮书ODCC-2022-03006时域上看，消除码间串扰(ISI)，即把被通道损耗展宽的冲击响应（Pulseresponse）通过均衡压缩，除了信号采样时刻（Ts）外，其余 UI 的采样时刻均尽量接近零。线性均衡（CTLE）、FFE 和 DFE 为常见 SerDes 均衡方式。其中 CTLE 和 DFE位于接收侧，FFE 可位于接收和发送侧，在发送侧通常称为 FIR（FiniteImpulse Response）滤波器。如下图，3

28、 阶 FIR 滤波器传递函数为高通滤波器，在 Nyquist 频 点 的 幅 度 为 1，在 直 流 的 幅 度 为(Main-pre-post)/(Main+pre+post)；过 3 阶的 FIR 滤波器从时域卷积波形进行设计。FFE 没有信号增益，通过压低信号的低频形成高通滤波器，因此 FFE 会压缩信号的摆幅，消除 ISI 同时降低了信噪比（S/N）。图18 发送侧FFE恢复信号机制接收线性均衡（CTLE），其频响为高通滤波器，无增益的 CTLE（比如 VSR参考接收机）同样会压低低频缩小眼图，有增益的 CTLE 放大信号会同时放大高频噪声。CTLE 增益曲线通常可采用零极点函数进行表

29、征，为了更好的将Hend2ends 接近1/Hc(s)，CTLE 通常可以设计多个零极点，可以更精细的控制CTLE 的传递函数，从而获得更平坦Hend2ends。19112G 高速互连白皮书ODCC-2022-03006图19 无源CTLE电路和频域相应曲线DFE（Decision feedback EQ），时域上，ISI 能量会渗入相邻通道中且比例是确定的，DFE 直接将这部分能量通过加法器扣除；DFE 不会降低信号幅度或放大噪声，仅对信号对应 tap 采样时刻有效，是负反馈系统；负反馈可能会造成系统的不稳定，即误码传播，DFE 的反馈系数(系数和)越大则误码传播可能性越大。FFE（Feed

30、 Forward EQ），类似发送 FIR，模拟 FFE 会造成信号幅度下降；通过对模拟信号进行 AD 采样，采用 DSP 进行多阶的 FFE 有效的信号恢复；FFE 没有负反馈机制，不会造成误码传播，适合于有误码系统。图20 FFE和DFE实现机制及DFE时域响应二次反射噪声也称为回音（echo）噪声，回音噪声非线性，在频域上体现为 Ripple，在时域上为毛刺，无法通过线性均衡（CTLE 和 FFE）消除。若回音噪声在 DFE tap 控制范围内，可以消除噪声。两个反射点的间距为 Td，则反射的能量出现于信号后 2 Td，则至少需要:DFE tap=2 Td/UI2 2PAM4PAM4、F

31、ECFEC、误码传播、误码传播20112G 高速互连白皮书ODCC-2022-03006编码从 NRZ 变为 PAM4 保持波特率不变，提高一倍，代价为信号综合的信噪比(SNR)代价约为 11dB。PAM4 系统的信噪比不能维持系统0.02），因此无法满足高速高频信号传输的要求。覆铜板是 PCB 的材料核心，它是由树脂、玻璃布和金属铜箔三者结合而成，所以树脂含量及种类都会影响覆铜板的电气特性。1 1PCBPCB 板材的玻璃布技术趋势及要求板材的玻璃布技术趋势及要求覆铜板是由树脂、玻璃布、铜箔等压合而成，玻璃布编号是按照经纬纱粗细、经纬纱密度、经纬纱重量等进行编号定义的。玻璃布对信号的影响，主要

32、来自于 Df。112G SerDes 高速系统 PCB 覆铜板使用到的玻璃布由之前常用的 E-glass、Low DK-Glass 转换为 Ultra Low Df Glass 及 Quartz Glass，Df 由之前 的 0.004 降 低 到 0.002 甚 至 0.001，相 较 于 Low Dk Glass，SI 提 升10%20GHz。目前行业内使用到的 Ultra Low Df Glass、Quartz Glass 主要由Asahi、Nittobo 两家供应。43112G 高速互连白皮书ODCC-2022-03006图55 高速覆铜板材料玻璃布需求演进图56 高速覆铜板材料不同玻

33、璃布SI性能对比2 2PCBPCB 板材的铜箔技术趋势及要求板材的铜箔技术趋势及要求信号高速高频化使得信号传输越来越集中于导线“表层”（称为趋肤效应），当频率达 1GHz 时，其信号在导线表面的传输厚度仅为 2.1m，如果导体表面粗糙度为 3-5m，信号传输仅在粗糙度的厚度范围内进行；当信号传输频率提高到 10GHz 时，其信号在导体表面的传输厚度为 0.7m，信号传输更是在粗糙度范围内进行。信号在粗糙度范围传输，传输信号的驻波、反射将越来44112G 高速互连白皮书ODCC-2022-03006越严重，并导致信号传输路径变长，损耗增加。因此铜箔的发展，一直在于追求越来越低的粗糙度，以降低信号

34、在金属导体中的损耗。图57 高速覆铜板材料铜箔需求演进铜箔的发展经历了 THE、RTF、RTF2、RTF3、HVLP、HVLP2、HVLP3、NP 铜箔等几个阶段，粗糙度 Rz 由最初的 5m 逐步下降到 0.5m。目前 112G SerDes高速系统 PCB 覆铜板使用的铜箔，常用为 HVLP2、HVLP3，Rz 在 11.5m，相较于上一代 56G 使用的 HVLP 铜箔插损提升 15%20GHz。图58 高速覆铜板材料不同铜箔SI性能对比（三）（三）112G112G 高速互连高速互连 PCBPCB 信号完整性要求信号完整性要求45112G 高速互连白皮书ODCC-2022-03006对于

35、 112G SerDes 高速系统信号传输的无源链路、插损、回损、串扰都是影响信号完整性的关键指标。插损、回损、串扰影响因子众多，但主要取决于设计。对于插损，主要取决于材料选择，叠层设计；对于回损，主要取决于过孔优化设计；对于串扰，主要取决于间距，GND 隔离等。但对于 PCB 加工而言，插损的变化主要来源于制程对铜箔粗糙度的影响。而回损最关键的控制点在背钻 stub 长度的管控及走线阻抗控制。而层偏则是影响层间串扰的关键因子。1 1信号完整性关键控制点信号完整性关键控制点PCB 设计信号完整性控制。112Gbps SerDes 高速系统，支持 PAM4 编码。如此高的速率，使得在整个系统中实

36、现高速信号布线会面临许多设计难题。过去通常只是在组件级进行设计考量，而新一代多 Gbps 设计需要对信号通道路径进行整体分析。通道中的每个组件都包含一些设计变量，其会影响通道中其他组件的性能。必须考虑插入损耗、回波损耗、串扰、阻抗等连接器变量。PCB 设计决策包括布局、布线、泪滴的添加优化、匹配的材料/层压材料选择、迹线长度与阻抗匹配、旋转走线或者拼板旋转，它们都能够提高或降低高速串行通道的性能。PCB 制程的损耗控制。112G SerDes 高速系统设计一般为内层走线，在加工制程中，内层走线的损耗控制关键在于铜箔粗糙度的控制。而棕化流程是对铜箔进行表面处理的最后一步，是对铜箔粗糙度影响的关键

37、步骤。棕化流程通过对铜箔表面的咬蚀增加铜箔粗糙度，通过增加铜箔粗糙度来增加 PP 与铜箔的结合力，保证可靠性，然而该做法必然导致损耗的增加。这对 112G SerDes 高速系统 PCB 是必须解决的一个矛盾。所以棕化工艺对此的发展趋势是增加化学结合力，减少对铜箔粗糙度的增加。新一代及下一代的棕化药水会在铜箔表面形成一层有机膜，有机膜通过化学键与 PP 结合，增加结合力，同时对铜面的粗化效果更小，在保证可靠性的情况下保障插损能力的提升。不同的棕化药水对插损的影响如下图所示，目前业界较为成熟的是 Bondfilm 级别的棕化药水，Glicap 与 Novabond IT 为下一代棕化药水。461

38、12G 高速互连白皮书ODCC-2022-03006图59 不同棕化处理方式SI性能对比PCB 制程的回损控制。链路中的阻抗不匹配即会引起电磁波的反射，走线阻抗，过孔阻抗均可能是阻抗不连续点。对于过孔，设计上钻孔孔径，焊盘大小，反焊盘设计，泪滴设计等均会影响过孔阻抗，而加工上对过孔阻抗最大的影响是过孔 stub 长度。过孔 stub 越长，信号反射越严重，对于 112G SerDes高速系统，过孔长度要求为 2-8mil。对于走线，加工制程中的线宽一致性，铜厚一致性，介厚一致性均会影响走线阻抗，对于 112G SerDes 高速系统，走线阻抗一般要求7%，更严苛的场景则会要求5%。PCB 制程

39、的串扰控制。对于 112G SerDes 高速系统，由于采用 PAM4 的传输方式，四个信号电平间电压的间隔相比 NRZ 更小，这必然导致信号对串扰更为敏感。串扰的降低主要依靠加大攻击信号与被害信号的间距，或在两者间增加GND 隔离。这两点对 PCB 制程提出的挑战就是更小的层偏要求，更小的间距加工能力。层偏过大时，在 BGA 区域，隔层的高速信号可能会越出反焊盘的位置，导致高速信号的隔层相对，这会导致走线阻抗的增加，也会导致信号间串扰的增加。为减少层偏对串扰的影响，一般要求层偏小于 4.5mil。在 BGA 过孔或连接器过孔这些串扰的关键位置，增加 GND 隔离过孔或隔离铜皮是减少串扰最有效

40、的措施，然而，增加过孔或铜皮要求更小的线到孔间距、更小的孔到孔的间距。112G SerDes 高速系统 PCB 一般要求线到孔的间距 7.0mil，孔到孔的间距14mil。47112G 高速互连白皮书ODCC- 2PCBPCB 信号完整性测试建议信号完整性测试建议因损耗在 112G SerDes 高速系统中对信号完整性起关键性的影响，故通常通过设计损耗科邦的方式进行 PCB 走线的损耗监控。目前 PCB 行业内存在的插损测试方法根据测试设备可以分为矢量网络分析仪 VNA（Vector NetworkAnalyzer）测 试 和 时 域 反 射/传 输 计TDR/TDT（T

41、imeDomainReflectometry/Transmission）测试两种。时域反射技术（TDR）其主要原理是通过高阶脉冲信号输入传输线结构，通过抓取其反射波幅度等信息形成输出波形，最终通过傅里叶转换将时域参数变换为频域参数，其中典型代表测试方法为 SPP（Short Pulse Propagation）、Set2dil 等。由于 TDR 测试仪器带宽的限制，对于 112G SerDes 高速系统，时域反射/传输计已经完全不能满足测试频段的要求。而 VNA 设备应用比较广泛，测试带宽极高，67GHz、甚至 112GHz 网络分析仪已有很多厂家进行了配备。可以满足 112GHz 甚至未来

42、224GHz 的信号测试需求。除此之外。其测试精度高、算法简单。其主要实现方式是提取多端口散射参数（S parameter），之后通过数据阵列转换输出相应的电性能指标，其中最具代表性的就是 AFR（Auto Fixture Removal）、Delta_L 等测试方法。Delta L 测试方法常用于服务器类产品，该方法测试设备使用 VNA，通过测试不同长度走线的 S 参数，通过矩阵运算的方式进行去嵌，然后对去嵌完得到的 S 参数的损耗曲线进行拟合，最后得出传输线的插入损耗。其算法可支撑40GHz 的测试及去嵌。Delta L 测试方法特点是包含 Difference，Uncertainty，C

43、ut off Freq 等指标用来辅助判断测试的可靠性及加工的一致性，其测试探头为手持式探头，探头带宽 40GHz，测试效率相对较低。AFR 同样是使用 VNA 进行测试。通过测试不同长度的 S 参数，使用是德科技的 Automatic Fixture Removal 去嵌算法进行去嵌。业界使用 AFR 方法进行插损测试时，一般使用 SMA 作为连接器，SMA 带宽可以达到 20GHz、40GHz，甚至 110GHz。相比 Delta L 探头这种探针式的接触，SMA 通过螺钉把紧固，与PCB 焊盘进行接触，触点接触更可靠，测试稳定性更好。然而使用螺钉紧固时，48112G 高速互连白皮书ODC

44、C-2022-03006其测试效率极低，不适合大批量的监控。因此，业界使用 AFR 方法时，往往会设计夹具来应对大批量的插损测试需求。设计夹具后，AFR 方法测试效率约为Delta L 方法的 4 倍左右。3 3PCBPCB 关键技术规格设计建议关键技术规格设计建议为了满足 112G SerDes 高速系统信号传输的要求，同时兼顾 PCB 的可制造性，通过 112G SerDes 高速系统设计及综合 PCB 行业主流制造商的工艺能力水平，建议 112G SerDes 高速系统 PCB 关键技术规格按如下范围控制。表5 112G SerDes高速系统PCB关键技术规格关键技术规格建议设计值极限设

45、计值备注：损耗偏差单板偏差12%26.5GHz中值偏差8%26.5GHz单板偏差12%26.5GHz中值偏差100Gbs 时，一些旧的方法已经不再足够。例如，10 年前，当我们评估 28Gbs NRZ 信道时，大多数 SI 工程师会关注连接器的串扰性能或 ICR 裕度。其他指标也被同时评估，但总是不如串扰重要。对于大于 100Gbps 的设计，阻抗、阻抗偏差、回波损耗、IL 偏差等，所有这些参数都对整体信道性能起着重要作用。如果继续以老旧的方法，分割每一个独立的 SI 指标进行评估，已不足以很好评估产品性能。因此，需要引用一种全新的评估办法：IEEE 的 COM 工具作为研究和模拟连接器和信道

46、性能。为了避免仿真数据带来的各种误差或偏差，强烈建议，以下所有 SI 指标的数据均需来源于实际测试。为了合理的评估112G 连接器的 SI 性能，列举了如下一些基本要求。测试板设计的要求：测试板要求：至少包含 2IMLA 相邻的 4 对差分对（measured PCB musthave 4 channel-2column2pairs）尽量每个走线层都分布相应的去嵌线。54112G 高速互连白皮书ODCC-2022-03006测试去嵌后包含：100mil 走线+封装+连接器+封装+100mil 走线测试仪器和方法的要求：测试仪器：需要支持从 DC 到 50GHz 以上的 PNA。min：10MH

47、z；max：50GHz；step:10Mz；max-IF bandwidth：1kHz（三）（三）连接器连接器 SISI 指标指标以下列举了评估一款高速连接器的常用的 SI 指标。差分信号最大可支持速率（Max support speed）：112GPMA4差分阻抗值（impedance）:表6 差分阻抗值扣板87-98ohmfullmate87-98ohm1mm demate背板87-98ohmfullmate87-100ohm1.5mm demate注：建 议 直 接 读 取 PNA 未 去 嵌 的 TDR 值。若 是 使 用 别 的 软 件，建 议risetime=10ps(20%-80

48、%)；包含连接器封装区域插入损耗（DDIL）表7 插入损耗扣板-1dB,f13.28GHz-1.5dB,13.28GHzf26.56GHz-3dB,26.56GHzf40GHz背板-3dB,f13.28GHz55112G 高速互连白皮书ODCC-2022-03006-5dB,13.28GHzf26.56GHz-10dB,26.56GHzf40GHz注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用。图 65 扣板包含1mm-demate的应用图 66 背板包含1.5mm-demate的应用插入损耗波动（DDIL Deviation）表8 插入损耗波动abs(

49、ILD)0.5dB,f13.28GHz1dB,13.28GHzf26.56GHz2dB,26.56GHzf 40GHz注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用；不区分扣板和背板注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用56112G 高速互连白皮书ODCC-2022-03006图 67 扣板包含1mm-demate的应用和背板包含1.5mm-demate的应用回波损耗（DD return loss）表9 回波损耗Return Loss-15dB,f13.28GHz-12dB,13.28GHzf26.56GH

50、z注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用；不区分扣板和背板图 68 扣板包含1mm-demate的应用和背板包含1.5mm-demate的应用SCD21-SDD21表10 SCD21-SDD21SCD21-SDD21-10dB,f12.89GHz0.318*f-14dB,12.89GHzf40GHz注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用；不区分扣板和背板57112G 高速互连白皮书ODCC-2022-03006图 69 扣板包含1mm-demate的应用和背板包含1.5mm-demate的应用串扰

51、crosstalk远端串扰 FEXT表11 远端串扰FEXT扣板-45dB,f13.28GHz-40dB,13.28GHzf26.56GHz-35dB,26.56GHzf40GHz背板-45dB,f13.28GHz-45dB,13.28GHzf26.56GHz-35dB,26.56GHzf40GHz58112G 高速互连白皮书ODCC-2022-03006图70 扣板包含1mm-demate的应用和背板包含1.5mm-demate的应用注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用近端串扰 NEXT表12 近端串扰NEXT扣板-50dB,f13.28GH

52、z-40dB,13.28GHzf26.56GHz-35dB,26.56GHzf40GHz背板-50dB,f13.28GHz-45dB,13.28GHzf26.56GHz-35dB,26.56GHzf40GHz图71 扣板包含1mm-demate的应用和背板包含1.5mm-demate的应用注：扣板包含 1mm-demate 的应用和背板包含 1.5mm-demate 的应用（四）（四）连接器机械连接器机械/电气电气/环境评估条件要求环境评估条件要求表13 连接器机械/电气/环境评估条件要求TEST METHODS/REQUIREMENTS59112G 高速互连白皮书ODCC-2022-0300

53、6Contact ResistanceLow Level LLCREIA 364-2320mV max,10mA maxInitial:XXm(reference)10mDESCRIPTIONTest ConditionCriteriaDielectricWithstandingVoltageEIA 364-20500Vdc,60 secondsSig-Sig&Sig-Gnd Pairs withinwaferNo breakdown,arc-overLeakage current 0.5 mAELECTRICALInsulationResistanceEIA 364-21500Vdc,60

54、secondsSig-Sig&Sig-Gnd Pairs withinwafer1000 MVisual InspectionEIA-364-18B 10XNo damageMECHANICALCompliant PinInsertion ForceEIA 364-051”/minute max.25N/EON maxCompliant PinRetention ForceEIA 364-051”/minute max.2.2 N/EON minimumMating/Un-matingForceEIA 364-13Method A,1”/minute maxMating force：0.45N

55、Max/per cotactUnmating force：0.10N/percontactPCB Wall DamageEIA-364-96Longitudinal micro-section,0.3 mmdown from top of PCBNo Cu cracks,inter-planeorBarrel separations60112G 高速互连白皮书ODCC-2022-03006PCBHoleHoleDeformation RadiusEIA-364-96Transverse down from top of PCBmicro-section,0.3 mmIndividual def

56、ormation 50 m Ave.deformation 37.5 mRemaining Cu plating 7.5 mENVIRONMENTALDisturbTelcordia GR-1217-COREUnmate approx.0.10 mm,then re-seatNo damageDurability 100-cyclesEIA 364-09127mm/min max.No damageDustEIA 364-91Benign dust composition#1,1 hourNo damageHigh TemperatureLifeEIA 364-17Method A,500 h

57、ours 85No damageHumidityEIA 364-31Method VI,50 cyclesNo damageMechanical ShockEIA 364-27Test Condition H,sine,30g,11ms,3 shocks/direction/axis,3 axesNo damageNo discontinuity 1 sMFGEIA 364-65Class IIa,10 days unmated(VHs),10 days matedNo damage61112G 高速互连白皮书ODCC-2022-03006Salt SprayEIA-364-26B,48 ho

58、urs,unmated header pcb,Horizontal orientation,contactsfacing down,Mask back side of PCB PTHsNo damageThermal ShockEIA 364-32-55C to+85,5 cycles,30 min.dwellNo damageVibrationSinusoidalEIA 364-28Test Condition II,Sinusoidal,10g,10-500 Hz,15 minute cycle,8 hours/axis,3axesNo damageNo discontinuity 1 s

59、TEST GROUP ID 123a3b(5)4(2)(5)56TEST DESCRIPTIONMixedFlowing GasTempLifeThermalShock&HumidityThermalShock&HumidityVibration&Mech.ShockPress-FitEvaluationSaltSprayVisual Inspection(6)1,161,71,111,151,1411,5Mate Header andReceptacle2,822,112,8Un-mate Headerand Receptacle696ELECTRICAL:ContactResistance

60、 LowLevel LLCR3,5,9,11,13,153,53,5,8,12,143,5,9,11,132,462112G 高速互连白皮书ODCC-2022-03006InsulationResistance3,6,9DielectricWithstandingVoltage4,7,10MECHANICAL:Mating/Un-mating Force2,66 3Compliant PinInsertion Force2,4,6Compliant PinRetention Force3,5,7PCB HoleDeformationRadius8PCB Wall Damage9ENVIRONM

61、ENTAL:Thermal Shock54Humidity813High TemperatureLife4MFG,un-mated,10-days7MFG,mated,10days10Salt Spray3VibrationSinusoidal10Mechanical Shock12Durability,100-cycles4,1474Dust107Disturb1263112G 高速互连白皮书ODCC-2022-03006七、七、112G112G 高速互连高速互连 IOIO 连接器技术连接器技术（一）（一）112G112G 高速高速 IOIO 连接器介绍及应用概况连接器介绍及应用概况1 11

62、12G112G 高速高速 I/OI/O 连接器简介连接器简介连接器由塑胶零件、端子等零配件组成，是电子产品器件、组件、设备、子系统之间实现连接的功能元件，起到传输能量和交换信息的作用，可以增强电路设计和组装的灵活性，其应用领域几乎囊括所有需要电信号、光信号传输和交互的场景，是构成整机电路系统电气连接必不可少的基础元件。按照传输的介质不同，连接器可以分为电连接器、射频连接器、光连接器和流体连接器。连接器有三个基本的性能指标：机械性能、电气性能和环境性能，机械性能主要包括插拔力与机械寿命；电气性能主要包括接触电阻、绝缘电阻、抗电强度及其他电气指标；环境性能则主要指耐温、耐湿、耐盐雾、振动和冲击等指

63、标。图 72 IO 连接器应用连接器作为电路系统电气连接必不可少的元件，全球市场已经达到千亿级别，且仍保持增长态势。根据 Bishop Associates 数据，近年来全球连接器市场整体呈稳步增长的态势，市场规模从 2011 年的 489 亿美元增长至 2020 年的767 亿美元。随着下游终端需求开启增长新局面，以及技术不断更迭，连接器市场规模有望进一步扩大，预计至 2023 年末市场规模有望超过 900 亿美元。64112G 高速互连白皮书ODCC-2022-03006图73 IO 2011年2020年全球连接器市场规模（单位：亿美元）而通信行业是连接器第二大应用领域，通信行业对于连接器

64、的具体需求主要是网络设备、网络基础设施、电缆设备等方面，其中网络设备应用主要包括交换机、路由器等，移动通信基础设施应用包括通信基站、基站控制器、移动交换网络、服务器等。在 5G 建设、云基建如火如荼的推动下，通信领域连接器需求旺盛。根据 Bishop Associates 的预测数据，至 2025 年全球和国内通信连接器市场规模将分别达到 215 亿美元和 95 亿美元。高速 I/O 连接器是通讯行业的主要组成部分，应用于高频高速、低损耗、小型化以及高密度布局的场景，相对于传统的连接器，高速 I/O 连接器更加关注信号传输的质量，伴随着人工智能、大数据，分布式存储以及边缘计算等技术的发展及广泛

65、应用，对数据流量的传输提出了更高的要求，以太网速度已经从 25G/50G 增长到如今的 400G/800G，并有望很快达到 1.6T，而高速 I/O 连接器作为整体互连功能的元件，在数据中心的应用中扮演着不可或缺的角色，其行业技术在现有高速连接器的基础上，重点向 112G/224G 以及下一代 PAM4 传输技术等方面发展，匹配数据中心应用场景下的高速互连要求。2 2112G112G 高速高速 I/OI/O 连接器应用概览连接器应用概览高速 I/O 连接器是通讯设备中的重要组成部分，从接入市场到 5G 无线市场和数据中心，从边缘计算到核心路由，均通过高速 I/O 连接器作为相互连接的接口。目前

66、在接入市场，以 10G/25G 单通道 SFP 作为主流界面，在数据中心内部，伴随着数据流量的极速增加，已经开始逐步跨入双通道的 DSFP56/SFP-DD56，四通道的 QSFP56 以及八通道的 QSFP-DD/OSFP 的高密应用场景，而且整体的数据流量还在不断拓展，112G 的高速 I/O 连接器已经成为必然的趋势，并有望实现 224G 的应用。根据行业数据统计，2021 年全球服务器总发货量约为 1300 万台，折算到高速 I/O 连接器整体市场发货量预计超过 5000 万个。（二）（二）112G112G 高速高速 I/OI/O 连接器接口类型连接器接口类型65112G 高速互连白皮

67、书ODCC-2022-03006多元化的高速 I/O 接口类型为不同架构层级和运用场景提供了多元化的选择。同时基于市场对高速 I/O 各类接口多年的运用经验和设计特点的积累，从而在 112G PAM4 这代形成了基于 QSFP112、QSFP-DD 800、OSFP 800 及 SFP-DD112 的主流高速 I/O 接口，进行衍生迭代的共识。（三）（三）112G112G 高速高速 I/OI/O 连接器设计连接器设计管理界面标准（以 QSFP112 为例）QSFP112 是从 QSFP、QSFP+、QSFP28、QSFP56 演进而来。根据市场的需求，在 112G PAM4 时代已发展为“LL

68、”和“JL”两种标准（LL type&JL type），且两种界面都向后兼容。图74 QSFP112 LL/JL type示意图两者在 Module 侧 PIN 定义保持一致且向后兼容。图75 QSFP112 module侧PIN定义两者在 Host PCB 侧 PIN 定义有一定差异，其中 LL type 与 Module 侧保持一致，而 JL type 对高速差分对采用了“ground-ground-signal-signal-ground-ground”的定义方式，参考图 7-5：66112G 高速互连白皮书ODCC-2022-03006图76 JL type Host PCB侧PIN定

69、义QSFP112 LL type PCB layout 如下：图77 QSFP112 LL type PCB layout图78 QSFP112 LL type 2X1 PCB Layout图79 QSFP112 LL type 2X1 PCB Layout67112G 高速互连白皮书ODCC-2022-03006图80 QSFP112 JL type 1X1 PCB Layout图81QSFP112 JL type 2X1 PCB Layout（四）（四）结构设计（以结构设计（以 QSFP112QSFP112 为例）为例）为更好地提升连接器的速率，112G 对连接器与光模块的配合也做了优化。

70、与之前的 MSA 界面相比，大家都致力解决端子接触区及焊接区的阻抗匹配问题。如 QSFP112 MSA 中，将光模块金手指宽度由 0.540.04mm 减小至 0.450.04mm，将连接器焊盘宽度由 0.350.03mm 减少至 0.300.03mm，焊盘长度由 1.800.03mm 减小至 1.200.03mm。这都在一定程度优化了接触区及焊接区的阻抗，让整个连接器链路的阻抗更加匹配。68112G 高速互连白皮书ODCC-2022-03006图82 QSFP112 光模块金手指宽度变更为0.450.04mm图83 QSFP112 连接0.300.033mm，焊盘长度变更为1.200.03m

71、m器焊盘宽度为同时，将光模块与连接器配合的 Stub 也由 1.100.18mm 减小至 0.900.18mm。图84 QSFP112 连接器与光模块配合Stub变更为0.90mm（五）（五）电气性能要求电气性能要求1 1 测试方法（以测试方法（以 QSFP112QSFP112 为例）为例）69112G 高速互连白皮书ODCC-2022-03006用 HCB 和 MCB 板测试 S 参数，不去嵌从 HCB 和 MCB 两端分别查看电气性能。MCB 指板端连接器测试板，HCB 指 IO 端测试板，二者均需满足 OIF 规范要求，所有 SI 规格均需在满足 HCB 和 MCB 规格的测试板条件下测

72、试。HCB 和 MCB 参考线插入损耗HCB 印刷电路板轨迹的参考差分插入损耗符合公式:HCB ref SDD21=1.00*(0.001-0.250*f-0.046*f)dBfor 1MHZf50GHzMCB 印刷电路板轨迹的参考差分插入损耗符合公式:MCB ref SDD21=1.34*(0.001-0.096*f-0.046*f)dB for 1MHZf50GHzHCB 和 MCB 方程如图所示:图85 Reference Differential Insertion Losses of HCB and MCB traces插入损耗：配对 HCB 和 MCB 的最小差分插入损耗和配对插入

73、损耗如公式 23-7 所示。配对 HCB 和 MCB 的最大差分插入损失如公式 23-8 所示。参考配对 MCB-HCB 损耗如公式 23-9 所示。最小、最大和参考插入损耗如下图所示。70112G 高速互连白皮书ODCC-2022-03006回波损耗：配对的 HCB 和 MCB 有效回波损耗应使用 IEEE 802.3 第 93A 条所示的方法计算，如下表所示。表14 Effective Return Loss(ERL)parameters差分转共模：配对 HCB 和 MCB 差分转共模如公式如下所示，如下图所示。图86 Mated HCB-MCB SCD21,SCD1271112G 高速互

74、连白皮书ODCC-2022-03006Mated HCB-MCB SCD21,SCD12 -30+(21/28)*f dB for 50MHz f 20GHzMated HCB-MCB SCD21,SCD12-15dBfor20GHz f50 GHz共模转差模和差模转共模转换：配对 HCB 和 MCB 的差分回波损耗应遵循如下公式，如下图所示。图87 Mated HCB-MCB SCD11,SCD22,SDC11,SDC22Mated HCB-MCB SCD11,SDC11-22+(1/4)f dBMated HCB-MCB SCD22,SDC22-25+(5/14)f dB for 50MH

75、zf 28GHzMated HCB-MCB SCD11,SCD22,SDC11,SDC22 -18+(3/28)fdB for28GHzf50GHz共模回波损耗：配对的 HCB-MCB 最大共模回波损耗应遵循如下公式，如下图所示。72112G 高速互连白皮书ODCC-2022-03006图88 Mated HCB-MCB SCC11,SCC22HCB-MCB SCC11 and SCC22-12+(18)f dB for 50MHzf500MHzHCB-MCB SCC11 and SCC22-3dB for 500MHzf 50GHz串扰：集成串扰噪声（ICN）测量和求和可扩展到 43.5GH

76、z，而方程(12-12)和(12-13)的权重使用 Fb=58 GHz 与攻击者振幅如表所示，上升/下降的时间等于表所示的转换时间。ICN3.85 mV RMS。MDNEXT1.35 mV RMS。MDFEXT5m 需求的场景中引入了有源铜缆 ACC 作为更长距离需求的补充。82112G 高速互连白皮书ODCC-2022-03006在 25G-NRZ 速率这一代，国内数据中心用户逐步获取了高速铜缆所带来的红利，尤其是在网络链路稳定性方面-相比 AOC，提升至少一个数量级。成本的节省和供应效率提升更是收益颇多。正是这些实实在在经过大规模部署验证过的优势，驱动着国内数据中心在现有 56G-PAM4

77、 以及下一代 112G PAM4，坚定不移的瞄准高速铜缆作为主要的服务器网络接入方式。图95 某互连网数据中典型接入应用（二）（二）112G112G 系列高速铜缆接口类型系列高速铜缆接口类型多元化的高速铜缆接口类型为不同架构层级和运用场景提供了多元化的选择。同时基于市场对高速铜缆各类接口多年的运用经验和设计特点的分析和认识的积累，从而在 112G PAM4 这代形成了基于 QSFP 400G,QSFP-DD 800G&OSFP 800G 为主流高速铜缆接口，并行的 SFP112G/SFP-DD112G/DSFP112G 一同的衍生迭代。表32 接口行业标准规范参考表TypeMechanical

78、Low Speed&GeneralElectricalManagementInterfaceModule ConnectorCage(SinglePort)Cage(GangedPort)QSFP112QSFP112 MSA SpecificationSFF-8636QSFP-DD112QSFP-DD MSA SpecificationCMIS 4.0OSFP112OSFP MSA SpecificationCMIS 4.0SFP112SFP-DD MSA SpecificationCMIS 4.0SFP-DD112SFP-DD MSA SpecificationCMIS 4.0DSFP/NG

79、SFP112TBDCMIS 4.083112G 高速互连白皮书ODCC-2022-03006（三）（三）高速铜缆设计高速铜缆设计112G PAM4 的高速铜缆解决方案的高度兼容性的迭代升级保证了新一代外部高速铜缆技术的稳定迁移。全新的解决方案以现有产品族群的设计要求为牵引，在结合现有结构特点做升级演进，提升速率的同时，也保证了对管理接口和 Pin 定义的延续。1 1铜缆结构设计铜缆结构设计根据实际运用环境的不同，OSFP，QSFP-DD 产品又衍生出多种形态。多形态的设计均是基于对模块本身散热需求的考量，鉴于无源铜缆的功率非常低（毫瓦级），同时考虑到产品形态的归一化对产品和市场发展的健康促进，

80、一般将 QSFP-DD Type1 和 OSFP Open Top 作为无源铜缆的首选型号（如下以QSFP112G 为例）。表33 QSFP112尺寸参考接口类型接口形态接口规范QSFP112QSFP112Specification-Rev2.02 2铜缆电路设计铜缆电路设计84112G 高速互连白皮书ODCC-2022-03006图96 QSFP112 Pin定义（例）图97 example QSFP112 Host Board Schematic for Passive Copper Cables3 3管理界面标准管理界面标准表34 EEPROM Map参考规范TypeManagement

81、 InterfaceQSFP112SFF-8636，SFF-8024 or CMIS 4.0 or CMIS5.0QSFP-DD112CMIS 4.0 or CMIS 5.0OSFP112CMIS 4.0 or CMIS 5.085112G 高速互连白皮书ODCC-2022-03006SFP-DD/SFP112CMIS 4.0 or CMIS 5.0DSFP(NGSFP)CMIS 4.0 or CMIS 5.0QSFP112 EEPROM Map表35注：QSFP112G PAM4特别标注位表36注：以上内容参考SFF-8636 Management Interface for Cabled

82、Environments Rev 2.986112G 高速互连白皮书ODCC-2022-03006图98 CMIS Module Memory Map表37表3887112G 高速互连白皮书ODCC-2022-03006注：以上内容参考Common Management Interface Specification Rev 4.0（四）（四）高速铜缆的测试和认证高速铜缆的测试和认证为保证高速线缆认证流程的统一和规范性，在基于 EIA-364 测试标准要求的前提下，结合外部高速铜缆的设计和运用特点，分别对电气，机械和环境可靠性要求。1 1信号完整性测试项目要求及方法信号完整性测试项目要求及方法

83、下面的项目为 TP1-TP4 的测试数据，含 MCB PCB 走线和连接器，如下图：图99测试指标：表39 SI性测试要求项目项目要求要求单位单位最大插损26.56GHz-19.75dB最小插损26.56GHz-11dB88112G 高速互连白皮书ODCC-2022-03006最小线缆组件 ERL-8.25dB差模转共模回损 SDC22-22+10*(f 26.56)0.05 f 26.56-15+3*f 26.56)26.56 f 40f 表示频率，单位 GHzdB差模转共模转换衰减SDC21-SDD21-100.05 f 12.89-14-0.3108*f12.89 f 40f 表示频率，

84、单位 GHzdB共模转共模回损 SCC11-1.812.89 f 40dB最小 COM 3dB2 2电气可靠性测试要求电气可靠性测试要求表40 电气可靠性测试要求项目要求参考低阶接触阻抗（LLCR）最大 20 milliohms(M)信号接触点（初始）EIA-364-23:320 mV DC,10 mA绝缘电阻相邻触点之间最小 1e3 MEIA-364-21:100 V DC耐电压相邻触点之间无缺陷（方法 B），最大漏电流为 1 mAEIA-364-20:方法 B，300 V DC持续 1min3 3机械可靠性测试要求机械可靠性测试要求表41 机械可靠性测试要求项目要求参考插入力QSFP112

85、:40N MAXQSFP-DD:90N MAXOSFP:40N MAXEIA-364-13D拔出力QSFP112:30N MAXQSFP-DD:50N MAXOSFP:30MAXEIA-364-13D耐久性QSFP112:250 次QSFP-DD:50 次OSFP:50 次EIA-364-09C机械振动没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-28F机械冲击没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-27C89112G 高速互连白皮书ODCC-2022-03006线缆组件摇摆测试吊重 1000，弯折半径最小 20mm,最大 5 倍线径，20 个

86、循环。没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-41D线缆装接后保持力QSFP112 不小于 90N,至少保持 1 minQSF-DD 不小于 125N,至少保持 1 minOSFP 不小于 125N,至少保持 1 minEIA-364-38C4 4环境可靠性测试要求环境可靠性测试要求表42 环境可靠性测试要求项目项目要求要求参考参考冷热冲击温度:-20 80温度转换时间:5min循环数:100 次没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-32E温湿循环温度:-2085湿度:80%50%驻留时间:60min温度转换时间:30min循环数:12

87、 次没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-31B恒温盐雾试验时间：48H试验温度：3547盐水浓度：5%没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-26B混合气体测试Cl2 浓度:0.01PPMNO2 浓度:0.2PPMH2S 浓度:0.01PPMSO2 浓度:0.1PPM温度:30相对湿度:70%RH没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-65温度寿命温度:85驻 留 时 间:A:96HB:250HC:500HD:1000H没有任何物理损伤实验结束后需要维持 SI 信号的完整EIA-364-17B5 5液冷兼容

88、性测试要求液冷兼容性测试要求表43 液冷可靠性测试要求90112G 高速互连白皮书ODCC-2022-03006项目要求金属类兼容性要求常温浸泡 30 天：体积无变化，重量偏差在 0.1%以内，同时无表面无腐蚀和氧化现象；非金属兼容性要求常温浸泡 30 天：可接受重量变化 5%以内，体积变化 1%以内，硬度轻微有增加。不可接受：非金属结构有分解现象；不可接受：影响产品功能的化学或者物理变化；电气兼容性要求常温浸泡 30 天，1浸泡中 SI 在线测试，衰减在管控频率范围内无突变；2浸泡后常温晾干恢复常态，SI 满足测试规范要求；6 6测试报告参考模板测试报告参考模板表44 测试报告模板九、九、1

89、12G112G 高速互连高液冷技术高速互连高液冷技术（一）（一）浸没式液冷环境下高速传输技术介绍及应用概况浸没式液冷环境下高速传输技术介绍及应用概况1 1浸没式液冷环境简介及应用概况浸没式液冷环境简介及应用概况20 世纪 90 年代，集成电路发展至互补金属氧化物半导体（CMOS），导致电子器件的功率及封装密度飞速增加，CMOS 运算能力远超之前的双极晶体管，高功耗和高封装密度带来了前所未有的冷却需求。在此之前，行业实践已经发现液冷是满足多芯片模块飞速增长的冷却需求的合适技术。最早的 CPU 液冷散热器利用直径 4cm 的铝制散热片，出现在 20 世纪 80 年代末 90 年代初。经过多年的探索

90、及发展，目前实际应用于数据中心的液冷主要有种方式：浸没式及冷板式。浸没式液冷将服务器里面所有硬件直接浸泡在工程液体中，依靠流动91112G 高速互连白皮书ODCC-2022-03006的工程液体吸收服务器的发热量。按照工程液体散热过程中是否发生相变，可以分为单相浸没式液冷及两相浸没式液冷。单相浸没式液冷系统的冷却液在散热中始终维持液态，不发生相变，低温的冷却液与发热电子元器件直接接触换热，温度升高后进入板式换热器，被室外侧冷却循环冷却后重新进入液冷槽冷却服务器。整个散热过程中冷却液无挥发流失，控制简单。两相浸没式液冷中，浸泡在液冷槽冷却液中的服务器产生的热量使冷却液温度升高，当温度达到其沸点时

91、，冷却液开始沸腾，同时产生大量气泡。气泡逃逸至液面上方，在液冷槽内形成气相区，气相区的冷却液被冷凝管冷却凝结成液体后返回液冷槽液相区。冷凝管中与冷却液换热后被加热的水由循环泵驱动进入室外散热设备进行散热，冷却后的水再次进入冷凝管进行循环。两相浸没式液冷的冷却液在散热过程中发生了相变，利用了冷却液的蒸发潜热，具有更高的传热效率，但是相变过程中存在压力波动，控制复杂。2 2浸没式液冷环境对高速传输技术的影响浸没式液冷环境对高速传输技术的影响无论是单相浸没式液冷还是两相浸没式液冷，都是将服务器整体浸没在冷却液中，其中，氟化液凭借其易挥发、无残留、无燃点爆点、性质长期稳定的特点，在浸没式液冷系统中得到

92、大量应用。与普通的风冷系统或者管路式液冷系统相比，芯片、PCB、连接器等器件周边的空气介质变成了冷却液，介电常数和介质损耗因子也随之改变，导致高速链路的特性阻抗、插入损耗、回波损耗、串扰、传输时延发生改变。在系统设计时，要考虑冷却液带来的影响。（二）（二）浸没式液冷环境下高速连接器及线缆设计浸没式液冷环境下高速连接器及线缆设计本章以中航 112G 背板连接器设计为例92112G 高速互连白皮书ODCC-2022-03006图100 中航112G高速背板连接器1 1结构设计结构设计传输模型设计高速连接器浸入冷却液后，原本空气介质变为冷却液，导体周边的介质介电常数的改变会导致 SI 指标受到影响。

93、高速连接器的端子在连接器内部可尽量用塑胶包裹，仅露出一面甚至完成包裹以减少周围介质对端子的影响。高速连接器可采用宽边耦合模型，并在传输线两侧布置屏蔽片，以提供完整的回流路径，降低不同差分对之间的干扰。插合区域设计插合区域结构设计要考虑可靠性和信号完整性。高速连接器浸没在冷却液中，接触件受力场景与空气中不同，可采用双面夹持架构提高接触可靠性。2 2SISI 设计设计插入损耗设计:插入损耗是指在信号传递过程中由于传输介质等因素导致的能量损耗。影响插损的因素包括：导体损耗、介质损耗、辐射损耗、耦合到周围导体中的能量、阻抗不连续。其中介质损耗是造成高速传输线上信号衰减的根本原因。损耗因子和介质损耗是成

94、正比关系的，如下图所示。因此，采用低介质损耗材料，可以有效降低插损。93112G 高速互连白皮书ODCC-2022-03006图101 仿真不同氟化液DF对连接器插损的影响通常情况下，高速连接器在浸入液体后，由于信号端子只有一面会受到氟化液的影响，受影响的程度受不同氟化液的 DK 和 DF 影响较大，所以在选取氟化液规格时，在保证其他性能均等的情况下，尽量选择低 DK 和低 DF 的氟化液。低 DF 可以更好的保证浸没液冷环境下的插损的恶化降到最小，例如 112G 高速背板连接器浸入氟化液（DK=1.9）。图102 112G高速背板连接器氟化液下IL测试特性阻抗设计:高速连接器传输线的阻抗与差

95、分线对之间的距离、差分线到地线和地平面的距离、金属材料厚度、传输介质等有关。连接器传输线上阻抗突变点通常发生在裁连料处、四面包胶的结构位置和空气隙的插合区域。高速背板连接器一般情况下不存在良好的密封性，对于裸漏在空气中的部分，在浸入液体后插合区域一般会充满氟化液，此处受阻抗的影响较大，选取94112G 高速互连白皮书ODCC-2022-03006DK1.9 氟化液，连接器阻抗能降低 1520 欧姆，所以针对氟化液使用的高速连接器可以在方案初期确定好使用场景，做好连接器裸漏在液体区域的阻抗匹配。图103 112G高速背板连接器氟化液下阻抗测试例如一款 25G 高速背板连接器产品，阻抗测试对比如下

96、图，针对氟化液下的应用场景，可以推荐该高速连接器在风冷下匹配系统阻抗 92 欧姆，在浸没液冷系统使用时推荐系统阻抗为 85 欧姆。图104 25G高速背板连接器氟化液下阻抗测试回损设计:减小高速连接器受液体的影响，降低高速连接器阻抗的突变程度，尽量选择低 DK 的氟化液，减小由于连接器所处场景不同，而造成的阻抗变化过大，以至于影响回损。串扰设计95112G 高速互连白皮书ODCC-2022-03006串扰是属于电磁干扰 EMI 的一种问题，特别针对于传输线与传输线之间的电磁干扰。当信号由某条传输线出发，在传输过程中，经由电磁场耦合到邻近的信号线，造成邻近的信号线接收到外界噪声的问题可以称之为串

97、扰，简称为Crosstalk。对于高速连接器为了改善串扰，主要通过采取对传输线增加屏蔽片的形式改善输线与传输线之间的电磁干扰，一般有单层屏蔽和全屏蔽两种类型。由于112G 高速连接器对串扰的要求较高，一般选择全屏蔽的传输线模型，又由于对插损要求较高，所以传输模型为空气隙的全屏蔽传输结构。该情况下在浸入氟化液后会改变传输线的耦合程度，增大产品部分频段的串扰。图105 背板连接器信号传输形式图106 背板连接器氟化液下串扰测试对于 25G 速率的高速连接器，可以采用单层屏蔽和包胶的形式进行设计，传输模型示意图如下，此类产品在浸入氟化液后产品的串扰性能，能够得到保证，基本不会恶化。图107 25G背

98、板连接器信号传输形式图108 背板连接器氟化液下串扰测试时延设计:96112G 高速互连白皮书ODCC-2022-03006信号在传输线上的传播速度并不是传输线中的电子移动的速度，而是指电磁波在传输线上的传播速度，电磁场变化的快慢决定了信号的速度，而电场和磁场变化的速度和介质材料特性和一些常量有关，可以由下式来表示：rrv001例如弯式高速背板连接器，在 wafer 内的差分对布线区域，一般差分对内侧的走线要短于外侧的走线长度，所以均需要通过改变传输线的介质来调整时延，一般有增加塑胶或者空气的形式，进行时延补偿。图109 弯式高速背板连接器布线形式在正常风冷使用状态下的连接器进行时延补偿后，时

99、延基本能调整至 1ps以内，但在浸入液体后，由于差分对走线的的不等长的部分周围的参考介质发生变化，在液冷使用状态下，时延会受到不同程度的恶化，这是弯式高速连接器在使用过程中不可避免的情况，所以在浸没液冷环境下需要考虑好，弯式高速连接器带来的时延变化是否能在系统所容纳范围内。对于全屏蔽传输形式的高速连接器上，如果连接器走线区域完全浸入液体，会带来的时延约 5ps 恶化问题,对于高速率的传输系统来说，需要提前考虑风冷和液冷情况下时延的变化。表45 112G高速背板连接器氟化液下时延测试差分对对内时延差（ps）空气浸入氟化液通路 105.1通路 2-0.54.4通路 3-0.76.297112G 高

100、速互连白皮书ODCC-2022-03006（三）（三）浸没式液冷环境下高速无源器件测试和认证浸没式液冷环境下高速无源器件测试和认证1 1测试项目要求及方法测试项目要求及方法测试项目指标表46 112G高速背板连接器性能指标指标项性能指标（仅供参考）阻抗值Demating 0mm92ohm+/-5ohmtr=15ps，1090%插入损耗不大于 4.0dB28GHz(3.5mm 孔长+连接器+3.5mm 孔长，板材：M8 级别)插入损耗偏离度ILD 小于 1dB0-25GHz；ILD 小于 1.5dB25-35GHz；ILD 小于2.5dB35-42GHz；（其中 ILDrm 小于 0.2dB0-

101、42GHz）回波损耗-12dB0-14GHz；-6dB14-28GHz；-3dB28-42GHz；近端串扰（单路）-50dB0-20GHz；-45dB20-30GHz；-35dB30-42GHz；远端串扰（单路）-50dB0-20GHz；-45dB20-30GHz；-35dB30-42GHz；Skew1ps测试夹具通过针对不同连接形式的连接器制定密封夹具，把氟化液密封在固定空间内，以使连接器以及 PCB 封装完全浸没在液体中，从而评估器件在氟化液中的性能，保证器件评估的准确性。图110测试情况测试方法98112G 高速互连白皮书ODCC-测试设备频域下测试的设备主要是矢量

102、网络分析仪，这也是测量高速连接器最常用的设备。2测试方法和步骤按照下图将被测样品接入测试系统中，a1、a2、a3、a4 为一条通路，b1、b2、b3、b4 为一条通路，两条通路构成一条差分传输线，差分传输线连接到设备的信号输出端。图111 测试连接图确定被测样品的近端和远端，测试夹具分布在被测样品的两端，和测试设备的信号输出端直接相连的一端为近端，另一端为远端，检测被测样品的插入损耗时需将近端和测试设备的信号输出端相连，将远端和测试设备的信号接收端相连。检测被测样品的串扰时需将近端和测试设备的信号输出端相连，和信号输出端相连的差分对被称为“干扰线”，将另一端差分对的近端（或远端）和测试设备的信

103、号接收端相连，和信号接收端相连的差分对被称之为“被干扰线”，其可以分别测试近端串扰（或远端串扰）。2 2可靠性测试要求可靠性测试要求通常，温度、振动、湿度和粉尘是造成电子设备故障的主要因素浸没式液冷可使电子设备始终工作在适宜的温度,浸没环境有效避免了湿度（空气中的水99112G 高速互连白皮书ODCC-2022-03006会造成元器件的锈蚀，而冷却液可以保护设备）、灰尘等对设备的不良影响。此外,因服务器和机房不再需要风扇，从而有效解决了噪音和振动问题。因此，浸没式液冷环境下连接器具有更高的可靠性。结合常规高速连接器的可靠性测试项目，对连接器的电气性能、机械性能、环境性能等方面进行测试验证，下面

104、结合 112G 高速连接器的结构特点给出了目前可靠性项目以及对应的测试标准、通用的测试条件要求。表47 可靠性测试要求项目试验条件试验要求参考标准耐电压250V 2S漏电流小于 0.5mAEIA-364-20绝缘电阻常温：250V DC环境试验后：100V DC1000M20MEIA-364-21低电平接触电阻初始75m，机械和环境试验后变化量小于 10m符合要求EIA-364-06表48 环境可靠性测试要求项目试验条件试验方法参考标准温度冲击温度范围-55105，温度转换时间：5 minutes，高低温停滞时间 30 minutes，插合连接器，提供合适的检测电路检测有无大于 1us 的瞬断

105、连接器零件应无变形、裂纹、保护层起泡、脱落等损伤，电气中断持续时间不大于 1us；试验前后接触电阻符合规定EIA-364-32湿热循环温度范围(252)(653)，对湿度 80%98%RH，插合连接器；试样应进行连续 21 次循环连接器零件应无变形、裂纹、保护层起泡、脱落等损伤；低电平接触电阻、耐电压应满足规定。EIA 364-31盐雾温度范围：（352），PH值：6.57.2，盐浓度的溶度：（51）%浓度的中性盐雾实验，试验时间：48hours试验结束后接触区域镀层无腐蚀、龟裂、鼓包、起皮等EIA-364-26温度寿命温度 125、345 hours连接器零件应无变形、裂纹、保护层起泡、脱落

106、等损伤，低电平接触电阻、连接器保持力满足规定EIA G 高速互连白皮书ODCC-2022-03006表49 机械可靠性测试要求项目试验条件试验方法参考标准接触件插拔力插入力：信号：0.75N/pin接地：1N/pin保持力：信号：0.15N/pin接地：0.15N/pin环境试验后保持力：信号：0.12N/pin接地：0.12N/pin符合要求GJB1217A-2009正弦振动频率 10-500-10Hz，扫频正弦波振动，加速度幅值为 98m/S2（10G）；X、Y、Z 3 个轴向，从 10 Hz-500 Hz 再回到 10 Hz 的整个频率范围历时 15 min，每个

107、方向 2 hours；瞬断仪的精度要求达到 0.1us；外观无损伤，瞬断无异常EIA-364-28冲击冲击加速度 490m/S2(50G)，冲击时间 11ms，波形为半正弦波，速度变化 3.44m/s 沿着三条相互垂直轴线，每一条轴线的两个方向各冲击 3 次，总共冲击 18 次；瞬断仪的精度要求达到 0.1us外观无损伤，瞬断无异常EIA 364-27机械寿命插头与插座连接和分开一次为一个周期，在Offset 为 0.2mm 下进行插拔，用专用试验工具或手工进行。插拔速度为 600 次/H，共 200次。试验后连接器应无机械损伤，但金属零件磨擦表面允许有轻微磨损；插针、插孔接触表面不允许镀层大块脱落EIA364-09C