1、1中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008分布式存储技术与产业分布式存储技术与产业分析报告分析报告编号 ODCC-2022-03008中国移动 IT 云负载均衡技术白皮书开放数据中心标准推进委员会开放数据中心标准推进委员会2022-09 发布发布I中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008版权版权声声明明ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。转载、摘编或利用其它方式使用 ODCC成果中的文字或者观点的，应注明来源：“开放数据中心委员会 ODCC”。对于未经著作权人书面同意而实施的剽窃、复制、修改、

2、销售、改编、汇编和翻译出版等侵权行为，ODCC及有关单位将追究其法律责任，感谢各单位的配合与支持。II中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008编制说明编制说明本白皮书在撰写过程中得到了多家单位的大力支持，在此特别感谢以下参编单位和参编人员：参编单位（排名不分先后）：中国移动通信集团公司、中国信息通信研究院参编人员（排名不分先后）：程宇、肖爱元、储琴琴、房梽斅、张琦、王瑞雪、倪康康、张久仙、孙聪III中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008前言前言随着中国移动 IT 云应用服务的高速发展，对于应用负载的需求也日益复杂，现有 OpenStack

3、框架下支持的 LBaaS 能力不足以满足应用侧对负载功能的需求。为了提高移动 IT 云环境下负载均衡服务能力，简化现有云管平台配置下发流程，采用声明式 API方式，能够大大简化现有云管平台负载配置下发的复杂性，同时在云管平台也更容易进行负载功能的灵活定义。本白皮书将介绍软负载数据平面的技术对比、云平台对接技术介绍、移动IT 云环境下部署方案实现和未来技术的展望。IV中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008目录目录版权声明.I编制说明.II前言.III一、背景.1（一）硬件负载均衡器在中国移动 IT 云的应用.1（二）硬件负载均衡器的局限性.21 硬件负载均衡的租户业务

4、支撑能力受架构、技术限制.22 硬件负载均衡定制化开发成本高.33 应用负载均衡器在中国移动 IT 云的应用.3二、应用负载均衡器技术原理.4（一）应用负载均衡器数据平面使用的技术.41 OVS+DPDK 技术.42 SR-IOV 技术.53 OVS+DPDK 与 SR-IOV 技术对比.6（二）应用负载均衡器与云平台对接技术.81 声明式 API 对接技术.92 LBaaS 对接技术.103 LBaaS 对接与 API 对接技术对比.11（三）应用负载均衡器管理平面部署方案.111 带外管理方式.112 带内管理方式.12V中国移动 IT 云负载均衡技术白皮书ODCC-

5、 带外管理与带内管理方案对比.12三、中国移动 IT 云应用负载均衡器部署方案.13（一）中国移动 IT 云应用负载均衡器的组网方案.13（二）中国移动 IT 云应用负载均衡器部署方案.141 10G 网卡服务器 vLB 部署方案.142 25G 网卡服务器 vLB 部署方案.153 网卡部署方案的选择.16（三）vLB 高可靠性方案.16四、技术展望.17（一）通过智能网卡卸载 HTTPS 流量.17（二）支持带外管理.20五、缩略语.211中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008一、一、背景背景（一）（一）硬件负载均衡器在中国移动硬件负载均衡器在中国移动 ITIT

6、 云的应用云的应用当前，国内云计算处于高速发展期，随着云计算在降本增效、资源配置优化等方面的价值凸显，越来越多的企业纷纷规划和建设了各类云计算数据中心，利用云计算技术支撑和满足 IT 系统建设。中国移动 IT 云区域中心资源池作为私有云，主要面向公司内部 IT 系统提供基础设施云服务，主要涵盖业务平台、IT 支撑系统和其他内部系统。在网络架构设计上采用层次化、模块化的设计方式，可灵活复制规模组网。业务网络划分为多个 POD，每个业务 POD 独立部署 OpenStack 模块、控制器和基础转发设备包括 SDN 接入设备（虚拟交换机、SDN 硬件接入交换机）、SDN 网关和增值业务网元包括防火墙

7、和负载均衡器等；存储网络单独为一个 POD，采用传统组网方式。POD 之间通过 POD 互连层进行互联互通。图1 IT云区域中心资源池节点网络拓扑图中国移动 IT 云硬件负载均衡设备被一级云管平台纳管，实现服务自动化部署，通过 OpenStack LBaaS 插件和一级云管对接，目前已实现原生 OpenStackLBaaS v2 功能和部分定制功能。租户在一级云管平台自动化开通、配置、维护负载均衡功能；一级云管平台 EPC 与远端云操作系统 EC 通过 OpenStack API 进2中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008行交互；LB 厂商提供 LBaaS 插件，安

8、装在远端云操作系统 EC 中，LB 设备配置由 LBaaS 插件下发。图2 IT云硬件负载均衡器部署架构图（二）（二）硬件负载均衡器的局限性硬件负载均衡器的局限性1 1硬件负载均衡的租户业务支撑能力受架构、技术限制硬件负载均衡的租户业务支撑能力受架构、技术限制目前中国移动 IT 云采用 OpenStack LB 模型，基础架构及功能已经标准化，SDN 模型无法支持复杂七层逻辑。伴随业务演进所要求的负载均衡资源扩展更灵活、个性化功能越来越多，租户的高级需求难以满足。同时，IT 云安全合规要求不断提高，运维管理能力不断完善，亟需 IT 云按更高的集中化、标准化、业务化、安全可控标准建设负载均衡支撑

9、能力。表1 IT云区域中心硬件负载均衡功能局限性问题分类案例分析负载策略部分个性化 LB 功能需求难以全部实现：全网集中化项目涉及业务迁移上云时，部分功能 OpenStack 原生、云平台不支持，影响上云进度，如高级 LB 功能（七层内容改写、SNI、访问控制等）、特殊应用协议（udp,ftp,dns,Radauth,Radacct 等）。业务监控租户缺少对 LB 上运行的业务健康状态的感知和性能监控：多省专业务上云后，提出租户界面无法进行租户级业务监控，原生3中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008Neutron 不支持，影响故障定位和运维效率，如业务状态监控（LB

10、、成员状态等）/业务性能监控、可定义的健康探测方法（Http1.0/2.0 健康检查、基于网页内容的健康检查、业务分发端口与健康检查端口为不同端口等）。数据类型无法灵活支持特殊业务场景：多省业务需传输视频类或者大文件类，目前架构下多租户共享无法满足不同部署模式，Openstack 原生不支持大部分配置变更，只能删除重新下发，如要求支持透明传输或三角传输模式、支持邮件、数据库、ftp 文件系统。2 2硬件负载均衡定制化开发成本高硬件负载均衡定制化开发成本高IT 云负载均衡功能的定制化开发工作，需要云管平台、远端管理模块、设备原厂多方配合，云管平台、远端模块多技术栈、原厂多个集采厂家的研发能力参差

11、不齐，需求沟通、协调周期长，整体开发、测试成本高，业务满意度低。3 3应用负载均衡器在中国移动应用负载均衡器在中国移动 ITIT 云的应用云的应用中国移动 IT 云应用负载均衡器是指部署在一级云管平台的具有负载均衡功能的软件产品，具备可动态迁移，弹性扩容等属性，实现灵活的调度与管理，提升客户网络的灵活性、敏捷性与弹性，能够与 IT 云管平台协同工作，通过云管平台租户界面，实现应用负载均衡业务的开通和配置。图3 IT云应用负载均衡部署架构目前通过 OpenStack 框架对接负载均衡设备存在的局限性，建议新增更灵活的云中心调度服务能力模型，通过云管平台直接管理软件负载，提供 L4 以上4中国移动

12、 IT 云负载均衡技术白皮书ODCC-2022-03008负载能力；L4 及以下负载能力保持目前 OpenStack 框架管理模式，实现负载功能的分层管理。二、二、应用应用负载均衡器技术原理负载均衡器技术原理（一）（一）应用应用负载均衡器数据平面使用的技术负载均衡器数据平面使用的技术应用负载均衡器采用虚拟交换机部署，虚拟设备的性能会随着宿主机的性能变化，另外宿主机需要进行数据处理，时延也会产生。针对上述问题，提出了 DPDK 与 SR-IOV 两种方案，目前两者均用于提高 IDC 中的网络数据包加速。1 1OVS+DPDKOVS+DPDK 技术技术DPDK（Data Plane Develop

13、ment Kit）是 6Wind、Intel 开发的一款高性能的数据平面开发工具包。主要解决内核收发包时的一些弊端：（1）中断处理：当网络中大量数据包到来时，会频繁产生中断请求，频繁的中断会产生较高的性能开销，并造成上下文的切换产生时延；（2）内存拷贝：网络数据包到来时，网卡通过 DMA 等拷贝到内核缓冲区，内核协议栈再从内核空间拷贝到用户态空间，在 Linux 内核协议栈中，耗时操作甚至占到数据包整个处理流程的 50%以上；（3）局部性失效：目前主流处理器都是多个 CPU 核心，即一个数据包的处理可能跨多个 CPU 核心，如一个数据包可能中断在 CPU0，内核态处理在 CPU1，用户态处理在

14、 CPU2，跨多个核心容易导致 CPU 缓存失效，造成局部性失效。相比 Linux 内核收发包，DPDK 有下面一系列的优势：（1）内核 Bypass：通过 UIO（Userspace I/O）旁路数据包，实现用户态数据包收发，减少上下文切换及内存拷贝；5中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008（2）使用多核编程代替多线程编程：设置 CPU 的亲和性，将线程和 CPU 核进行一比一绑定，减少彼此之间调度切换；（3）使用大页内存代替普通内存；（4）采用无锁技术。OVS（Open vSwitch）是 一 款 高 质 量 的 开 源 虚 拟 交 换 机，运 行 在Hyper

15、visor 中并为虚拟机提供虚拟网络，OVS 的转发平面是内核的一部分，导致 OVS 面临着与 Linux 收发包相同的问题。图4 OVS和OVS+DPDK技术架构图基于 DPDK 的转发路径替换标准的 OVS 内核转发路径，在主机上创建一个用户空间 vSwitch，完全运行在用户空间中从而提高 OVS 的性能。2 2SR-IOVSR-IOV 技术技术SR-IOV（Single Root I/O Virtualization）技术是一种基于硬件的虚拟化解决方案，可提高性能和可伸缩性。SR-IOV 标准允许在虚拟机之间共享 PCIe（Peripheral Component Interconne

16、ct Express，快速外设组件互连）设备，并且在硬件设备中实现，可以获得能够与本机性能媲美的 I/O 性能。6中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图5 SR-IOV技术架构图SR-IOV 特点如下：（1）性能从虚拟机环境直接访问硬件；（2）成本节省的资本和运营开销包括：节能、减少适配器数量、简化布线、减少交换机端口。3 3OVS+DPDKOVS+DPDK 与与 SR-IOVSR-IOV 技术对比技术对比数据中心存在东西向流量与南北向流量，在同一个服务器内的东西向流量，DPDK 性能优于 SR-IOV。如果流量在服务器内部路由器或交换机，而不是到 NIC，SR-

17、IOV 没有任何优势；相反，SR-IOV 会成为瓶颈，流量路径会变长，网卡资源会被占用。针对东西向流量，DPDK 优化效果更好，下图为东西向流量场景下 DPDK 与SR-IOV 的性能测试数据。7中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图6 东西向流量场景下DPDK与SR-IOV测试数据针对南北向流量，SR-IOV 优化效果更好，下图为南北向流量场景下 DPDK与 SR-IOV 的性能测试数据。图7 南北向流量场景下DPDK与SR-IOV测试数据8中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008（二）（二）应用应用负载均衡器与云平台对接技术负载均衡器

18、与云平台对接技术应用负载均衡器作为独立网元，以虚机或软件形式部署在通用服务器上，向管理控制面提供 API 接口，支持 L2-L3 的初始化配置下发及 L4-L7 的业务配置下发。为了实现软负载初始化配置，采用 Cloud-init 方式实现，Cloud-init 是一个支持多操作系统的软件包，用于处理云主机早期的初始化操作。当系统启动时，Cloud-init 可以在云的 Data Source 中获取 Metadata（Nova Metadata服务或者 Config Drive（Config Drive 是一个特殊的文件系统，OpenStack 会将 Metadata 写到 Config D

19、rive，并在 Instance 启动的时候挂载给 Instance，然后去读 Metadata），完成包括但不限于以下定制化工作：设置 Default Locale；设置云主机 Hostname；生成实例的 SSH 私钥；添加 SSH KEYS 到.ssh/authorized_keys，使用户可以登录；设置临时挂载点；设置用户密码；配置网络；安装软件包。9中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图8 软负载定制化实例配置软负载 启动后，需进行许 可的统一 激活，业 内主流采 用 LicenseManagement Server（简称 LMS）来进行软负载的定制化许

20、可下发及回收。LMS服务对外提供 API 接口给云平台，云平台完成软负载初始化创建后，通过 API接口下发许可签发或回收操作。图9 云管平台下发或回收License流程初始化并激活软负载实例后，云平台作为管理控制面，可通过两种形式与应用负载均衡器对接：通过 LBaaS 对接；通过声明式 API 对接。1 1声明式声明式 APIAPI 对接对接技术技术声明式 API 由应用负载均衡器提供，云平台声明目标业务配置内容，通过声明式 API 一次性下发给应用负载均衡器，整体架构如下：10中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图10 应用负载均衡器声明式API对接模式部署架构

21、该模式下云平台与应用负载均衡器直接连接，通过声明式 API 下发业务配置到应用负载均衡器，可大幅简化集成难度，对于灵活多变的 L7 业务场景支持，仅需扩展声明式接口模型。2 2LBaaSLBaaS 对接对接技术技术LBaaS 是 OpenStack 网络模块 Neutron 的负载均衡器服务插件，云平台将业务配置通过 Neutron Server 下发给 SDN 控制器或 LBaaS Agent，再下发到应用负载均衡器，整体架构如下：图11 应用负载均衡器LBaaS对接模式部署架构该对接模式与硬件负载均衡器类似，可复用大部分现有私有云平台体系，对于硬件负载均衡器相类似的业务场景支持较为友好，但

22、 L7 的业务场景通常灵活多变，LBaaS 对这类业务配置的支持能力有限，需要扩展 LBaaS 的接口与模11中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008型以满足需求，然而这类改造对现有体系的影响较大，依赖各大 SDN 厂商的配合，同时频繁的扩展会造成原有稳定的 L4、L7 业务的不稳定性。3 3LBaaSLBaaS 对接与对接与 APIAPI 对接技术对比对接技术对比LBssS 对接与声明式 API 对接技术云管平台对比如下：对比项LBaaS声明式 API兼容性可利用现有 LBaaS 框架需新开发 LB API 与控制器扩展性扩展性较差，接口模型扩展涉及多个层级组件，依

23、赖 SDN 厂商与负载均衡等多方配合扩展性较好，接口模型扩展涉及层级组件少，仅需支持新的声明配置模型易集成新 SDN 控制器及负载均衡厂商接入成本高新负载均衡厂商接入成本低配置性能链路较长，端到端配置性能有影响链路短，端到端配置性能影响小可运维链路较长，问题定位难度较大链路短，问题定位难度较小厂商支持程度厂商支持程度有差异，从无到有支持的难度较大厂商支持程度有差异，从无到有支持的难度较小技术趋势OpenStack 版本迭代较慢，且版本间兼容性较差，各厂商支持情况不一致符合云原生及基础设施即代码的理念，已在 Kubernetes 中被大量实践（三）（三）应用负载均衡器管理平面部署方案应用负载均衡

24、器管理平面部署方案1 1带外管理方式带外管理方式所谓带外管理指应用负载均衡器的管理 vNIC 接口绑定在宿主机的带外管理接口上，使得管理平面与业务平面独立和隔离，使用不同的物理接口。此部署模式下，通常应用负载均衡器的数据 vNIC 采用 SR-IOV 方式与宿主机物理接口绑定，接入业务网络。12中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图12 软负载带外管理部署方式2 2带内管理方式带内管理方式所谓带内管理指应用负载均衡器的管理 vNIC 和数据 vNIC 接口全部桥接在vSwitch 上，应用负载均衡器的管理平面与业务平面共用宿主机的业务接口，同时为兼顾管理平面和业务

25、平面的隔离性，可在 SDN 网关侧启用不同的 VRF，将应用负载均衡器的管理和业务平面进行一定的网络隔离。图13 软负载带内管理部署方式3 3带外管理与带内管理方案对比带外管理与带内管理方案对比软负载带外管理与带内管理方案对比如下：13中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008对 比项独立带外管理带内管理通 用性业务接口可采用 SR-IOV 技术标准，相对 OVS+DPDK 技术更成熟，易用性更好业务接口采用 OVS+DPDK，两者演进相互依赖和紧耦合；SDN 控制器和网关针对 OVS 有一定的定制化，需进行不同厂家和版本的适配安 全性管理和业务接口完全物理独立和隔离，

26、安全性更好，可直接通过管理 TOR 交换机接入管理域管 理 和 业 务 接 口 共 用 业 务 接 口 和vSwitch，管理平面和业务平面无法完全物理隔离，会彼此相互影响易 集成通用性更好，与 SDN 厂家松耦合，更容易集成和标准、版本统一与 SDN 厂家提供的 OVS+DPDK 紧耦合，有一定集成工作量，且后续 OVS+DPDK 版本迭代后，可能需要重新适配性能业务接口采用 SR-IOV 网卡直通模型，性能更高，延迟更低业务接口通过 vSwitch 转发，性能受限，vSwitch 会成为转发性能瓶颈，不适合高吞吐性能场景资 源占用业务接口采用 SR-IOV 模型无额外系统资源占用，仅管理口

27、启用 vSwitch，资源占用少vSwitch 额外需占用至少 8 个 CPU 虚拟core，资源占用更大厂 商支 持程度厂商支持程度有差异，云平台和 SDN 厂家存在一定的开发工作量，并需要在资源池中验证版本随存在差异，但现网资源池已部署和使用，云平台和 SDN 厂家开发工作量小技 术趋势高性能需求场景下，普遍采用业务接口普遍采用 SR-IOV 模式无法支持高性能需求场景，过渡依赖 OS层，未来提升空间有限三、三、中国移动中国移动 ITIT 云云应用应用负载均衡器部署方案负载均衡器部署方案（一）（一）中国移动中国移动 ITIT 云云应用应用负载均衡器的组网方案负载均衡器的组网方案中国移动 I

28、T 云组网如图所示，SDN 网关和业务服务器之间建立 VxLAN 隧道。应用负载均衡器作为独立的网元，以虚机或软件形式部署在业务网络中通用服务器上，并有如下要求：1、通用服务器上安装 vSwitch，应用负载均衡器通过 vSwitch 接入 VxLAN网络，VTEP 节点部署在 vSwitch 上；14中国移动 IT 云负载均衡技术白皮书ODCC-、vLB 通过 SNAT 实现来回路径一致。对于承载网过来的流量到 SDN 网关后需要绕转到内层防火墙，再转发到 vLB 和相应业务服务器；对于公网流量则从 SDN 网关直接转发到 vLB 和相应业务服务器；3、一个租户可以申请

29、多个 vLB，每个 vLB 只给一个租户提供服务；4、通过云平台实现 vLB 的安装部署和业务配置；5、vLB 的 VIP 与浮动 IP 1:1 映射。图14 移动IT云组网架构图（二）（二）中国移动中国移动 ITIT 云云应用应用负载均衡器部署方案负载均衡器部署方案中国移动 IT 云中每台 C1 服务器共两路 CPU，40 个 Core，最多支持 8 个业务网口，业务网口支持安装 10G 网卡或 25G 网卡。每个 vLB 占用 4 个 Core，考虑到服务器 Core 数量，OVS 和系统 Core 消耗以及端口冗余，每台服务器建议部署 7 个 vLB。对于 10G 网卡服务器，占用 8个

30、业务网口；对于 25G 网卡服务器，占用 4 个业务网口。1 110G10G 网卡服务器网卡服务器 vLBvLB 部署方案部署方案10G 网卡服务器 vLB 部署方案如下：业务和管理流量共 10GE 网口；15中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008每个 vLB 配置 1 个业务 vNIC（vNIC1）、1 个管理 vNIC（vNIC2），无需DFS 存储 vNIC；管理 vNIC 和业务 vNIC 通过 OVS 连接 4 个 25GE 网口，4 个 25GE 网口做Bound，并接入业务 TOR；业务网络和管理网络通过不同的 VRF 进行隔离。图15 应用负载均衡在

31、10G网卡服务器部署方案相应技术要求如下：vLB 须支持 OVS+DPDK；OVS 须支持绑定 8 个物理网口；Leaf 交换机的 LACP 须支持至少 8 个成员口。2 225G25G 网卡服务器网卡服务器 vLBvLB 部署方案部署方案25G 网卡服务器 vLB 部署方案如下：业务和管理流量共 25GE 网口；每个 vLB 配置 1 个业务 vNIC（vNIC1）、1 个管理 vNIC（vNIC2），无需DFS 存储 vNIC；16中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008管理 vNIC 和业务 vNIC 通过 OVS 连接 4 个 25GE 网口，4 个 25GE

32、 网口做Bound，并接入业务 TOR；业务网络和管理网络通过不同的 VRF 进行隔离。图16 应用负载均衡在25G网卡服务器部署方案相应技术要求如下：vLB 须支持 OVS+DPDK；OVS 须支持绑定 4 个物理网口；Leaf 交换机的 LACP 须支持至少 4 个成员口。3 3网卡部署方案的选择网卡部署方案的选择相比 10G 网卡服务器，在 25G 网卡服务器上部署软负载，集成复杂度相对低，运维简单，成本较低等优点，推荐采用 25G 网卡服务器。（三）（三）vLBvLB 高可靠性方案高可靠性方案为了保证网络可靠性，设置主备 vLB 机制实现冗余，高可靠性方案如下：同一 HA 组的主 vL

33、B 和备 vLB 部署在不同的物理服务器上，以防止服务器故障时主备 vLB 同时失效；17中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008两台 vLB 之间定期发送心跳报文检测对端状态，当检测到主 vLB 故障时，备 vLB 自动升为主实现主备冗余；主备 vLB 之间支持会话同步以保证业务连续性。图17 应用负载均衡高可靠方案四、四、技术展望技术展望（一）（一）通过智能网卡卸载通过智能网卡卸载 HTTPSHTTPS 流量流量在基于云的架构中，软件化的负载均衡被越来越多的使用和部署，对于应用负载均衡而言，优点在于灵活性和弹性扩展，但缺点是无法媲美硬件的性能。硬件负载均衡设备绝大

34、多数通过在设备主板或控制板卡中集成专用芯片来提升设备底层数据包处理能力和延迟，并通过 FPGA 可编程芯片提升抵御 DDoS攻击和四层 TCP 建立连接和吞吐能力。为了弥补应用负载均衡器在性能方面的不足，业界普遍采用的方案是通过在宿主机安装智能网卡，将 CPU 密集型功能卸载到宿主机的硬件智能网卡和SSL/TLS 加解密卡上，可显著降低服务器 CPU 的使用率，防止应用负载均衡器系统资源耗尽，从而提升应用负载均衡器的 DDoS 防御能力和 SSL/TLS 卸载能力。因此，应用负载均衡器在选择智能网卡时，通常会选择基于 FPGA 的智能网卡，保持和硬件 LB 接近的物理硬件架构。18中国移动 I

35、T 云负载均衡技术白皮书ODCC-2022-03008智能网卡对应用负载均衡器辅助增强的典型场景：（1）降低应用负载均衡器的系统资源消耗；（2）四层负载均衡能力加速；（3）高性能 NAT44/NAT64 能力；（4）抵御大流量 DDoS 攻击。针对 IT 云的现网部署和需求情况，提出以下两个典型应用场景。场景一：集成 Intel QAT 优化在云/VNF 环境下的 SSL/TLS 卸载性能：（1）SSL 性能加速提升四到五倍的并发请求数；（2）提升吞吐能力达到数十 GB 每秒的 SSL 吞吐能力；（3）降低 CPU 使用率节省百分之四十左右的 CPU 使用。场景二：将网络功能卸载到支持 FPG

36、A 的智能网卡，显著提高云/VNF 环境中的性能：（1）DDoS 防御性能优化将 DDoS 防御卸载到智能网卡上，可抵御数十GB 的攻击流量，相比纯软方案可提升近几百倍。CPU 使用率降低 70%左右，节省百分之四十左右的总费用；（2）复杂 DDoS 防御支持行为 DoS,白名单，及上百个 DoS 向量。以下是在应用负载均衡器+宿主机智能网卡绑定/解绑的情况下，对 L4 层延迟的测试对比，通过测试可以看到绑定智能网卡的情况下，极大的缩短了应用负载均衡器响应延迟。19中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008L4 SmartNIC Offload DisabledL4 S

37、martNIC Offload EnabledLatency：497s（含 50s 的交换机延迟）Latency：54s（含50s 的交换机延迟）图18 引入智能网卡前后应用负载均衡响应时间测试此外，通过智能网卡，能够在提升应用负载均衡器四层吞吐能力的同时，极大的降低系统 CPU 的负荷，四层数据转发基本不消耗 CPU 资源，测试如下所示：表2 引入智能网卡前后CPU资源消耗测试L4ThroughputGPUUtilization应用负载均衡器不使用 SmartNIC 硬件加速36Gbps81%应用负载均衡器使用 SmartNIC 硬件加速48Gbps4%在业务流量中，如果混合了攻击流量，通过

38、智能网卡和应用负载均衡器的配合，可以有效的过滤攻击流量，保障正常交互的业务流量转发至应用负载均衡器，充分保护应用负载均衡器的系统资源不被攻击所蚕食，此方案场景可提供类似专用硬件的高性能保护，同时提供云环境的灵活性和敏捷性。此外，由于 FPGA 可以重新编程，因此随着威胁的发展和变化，可以持续迭代和增强安全防护能力。20中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008图19 智能网卡场景下系统架构图引入智能网卡最大的挑战是增加云 IaaS 基础架构的复杂度，在宿主机服务器上需适配不同的智能网卡，同时不同应用负载均衡器支持的智能网卡类型、品牌也存在差异。除数据面的适配以外，通常引

39、入智能网卡还需要管理面的集成和策略、配置编排，如在 DDoS 攻击防护场景，攻击防护策略、黑白名单等都会存在更新和变化，需要对智能网卡进行必要的管理。（二）（二）支持带外管理支持带外管理随着软件化、容器化在 IT 云中的不断发展和演进，云资源池底层技术的易用性，不同架构层级、网元之间的松耦合，将直接决定未来 IT 云资源池的可扩展空间。随着应用负载均衡器技术的逐渐成熟，逐步替代专用硬件设备必将成为一种趋势。如何提升软件 NFV 化产品的安全性、稳定性？如何提升软件 NFV化产品的性能，使其具备完全替换专用硬件的能力，也将成为这种发展趋势过程中，必须要面对的问题和挑战。因此，为了提升应用负载均衡

40、器业务接口的性能，后期很大程度上需要向网卡采用 SR-IOV 直通模式演进，在这个过程中，就不得不考虑应用负载均衡器带外管理的部署模型和相关技术。21中国移动 IT 云负载均衡技术白皮书ODCC-2022-03008五、五、缩略语缩略语DPDK数据平面开发工具包Data Plane Development KitLB负载均衡器Load BalanceNAT网络地址转换Network Address TranslationNFV网络功能虚拟化Network Functions VirtualizationOVS虚拟交换机Open vSwitchPOD最小交付单元Point of DeliverySDN软件定义网络Software Defined Network