1、数据中心网络流量分析技术白皮书 开放数据中心委员会 2021-09-15 发布 ODCC-2021-03001 数据中心网络流量分析技术白皮书 i 目目 录录 前 言 .ii 版权说明 . iii 数据中心网络流量分析技术白皮书 . 1 1. 网络流量分析需求和场景 . 1 2. 流量路径可视技术 . 2 2.1. 镜像技术. 2 2.2. 探测报文构造技术 . 3 2.3. 随流检测技术 . 5 2.3.1. INT 技术 . 6 2.3.2. In-situ OAM 技术 . 9 2.3.3. IFA 技术 . 12 2.3.4. Inband-OAM 技术 . 16 3. 丢包可视技术.
2、 17 3.1. 染色技术. 17 3.2. 丢包原因分析技术 . 18 4. 下一步工作建议 . 19 参考文献 . 20 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） ii 前前 言言 AI、 5G、 大数据等业务的快速发展导致数据中心内网络流量激增， 业界通常采用 Scale Up 方式提升单机/端口的转发性能，同时通过 Scale Out 方式构建大规模的数据中心网络满足数据中心内业务互通诉求。 然而数据中心网络内的流量负载通常是持续变化且不均衡的， 例如业务突发访问及实际网络中不可避免的多打一/Incast 流量会在数据中心网络内形成微突发流量，可能局部形
3、成拥塞，进而导致数据中心内的业务流量出现时延增大、丢包等问题；另外随着数据中心网络设备持续运行，不可避免出现因网络变更、器件老化、软件 Bug 等原因导致的网络中断、业务丢包等异常现象。 作为企业数字化转型的核心底座， 数据中心网络承载企业或组织的核心业务系统，其中不乏 5G 通信、城市治理、疫情防控等关系国际民生的核心业务，该类业务要求数据中心网络保证可靠性和可用性， 具备业务连续性； 同时在故障/异常发生的早期阶段能够快速检测、定位和修复，以避免或减小业务受损范围和持续时间。 为提升数据中心网络运维精度和效率，网络遥测（Network Telemetry）技术应运而生，通过设备主动推送信息
4、给网络分析器，分析器结合数据分析和人工智能等技术，实现数据中心网络可视化。流量可视化是数据中心网络可视化及智能运维的重要组成部分，面向应用提供路径可视、丢包及时延等网络质量信息，提供故障快速感知和定位能力。 数据中心网络流量分析包含流量路径分析和丢包分析。流量分析目标从应用视角获取互访关系和互访路径，进而在故障定位时快速精准定位，丢包分析目标实时监控业务流量丢包情况，分析丢包原因；最终提高网络维护效率，提升网络可靠性。 起草单位：中国移动通信集团公司、中国电信集团公司、中国信息通信研究院 起草者：秦凤伟、顾戎、王瑞雪、吴林泽、郭亮、程宇、李洋、王祎晨、王少鹏 ODCC-2021-03001 数
5、据中心网络流量分析技术白皮书（中文版） iii 版权说明版权说明 ODCC（开放数据中心委员会）发布的各项成果，受著作权法保护，编制单位共同享有著作权。 转载、摘编或利用其它方式使用 ODCC 成果中的文字或者观点的，应注明来源：“开放数据中心委员会”。 对于未经著作权人书面同意而实施的剽窃、复制、修改、销售、改编、汇编和翻译出版等侵权行为，ODCC 及有关单位将追究其法律责任，感谢各单位的配合与支持。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 1 数据中心网络流量分析技术白皮书数据中心网络流量分析技术白皮书 1. 网络流量分析需求和场景网络流量分析需求和场景
6、伴随着企业数字化转型的加速，数据中心规模与日俱增，其上承载的应用种类和数量也越来越多。随着计算、存储、网络资源池化技术的引入及统一云平台的集中编排，云数据中心计算、存储、网络资源可全面实现自服务。数据中心网络向规模化和自动化演进的同时，也给网络管理和维护带来巨大的挑战，具体表现在业务难感知、问题难自证和故障难定位。 业务难感知：基于网络自动化及自服务的特性，管理员无法像传统网络那样感知每一条网络配置，也无法掌握配置下发的细节；同时，由于业务开通实时性及计算资源热迁移等需求，导致云数据中心网络配置实时变更，进一步增加资源和配置感知难度。 问题难自证：部分故障存在非显现性特征，常规设备级别网络监控
7、和告警无法覆盖；网络检查自动化工具缺乏，依赖于人工经验的故障定位，排查效率低，精准度差，网络难以自证清白。 故障难定位： 大规模数据中心网络拓扑通常采用等价多路径等方式实现流量的负载均衡，网络节点增加导致转发路径呈现幂级别增加，精确还原流量实际转发路径成为故障定位的前提条件。 逐流级别的数据中心网络分析功能可实现流量路径和丢包情况可视化， 直观展示应用级别的网络质量,便于实现网络精细化管理和故障精准定位。逐流级别的网络分析功能可快速定位故障点、缩短故障恢复时间、减少业务中断时间，对提升整网的运维能力具有重要意义。 场景一：流量路径可视化 流量路径可视化指的是业务报文转发路径可视化， 在网络拓扑
8、上描绘出业务ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 2 报文的真实转发路径，并标注流量路径的质量信息，便于对业务流进行跟踪。其中业务流量真实转发路径由业务流经过的每一个网络节点以及其出入端口信息组成，流量路径质量信息包含时延信息等。 场景二：丢包情况可视化 网络丢包对业务和网络带宽有直接显著的影响；特别地，基于 TCP 的业务丢包会导致 TCP 断链、重传、窗口拥塞等问题。当 HTTP 应用丢包率达 1%时，HTTP 传输速率下降到原来的 10%。丢包可视化指的是能够精确反馈丢包的情况和影响的业务信息，并针对性给出丢包原因分析。 2. 流量路径可视技术流量路径
9、可视技术 云数据中心底层网络通常采用 Spine-Leaf 组网架构， 在业务服务器间提供多条等价路径以提升网络带宽和可靠性，同时引入 VxLAN 等隧道技术提供大二层网络能力、简化租户网络配置、提升业务开通效率。流量路径可视技术指能够逐流绘制报文转发路径的相关技术，便于网络精细化管理和故障精准定位。目前流量路径可视技术分为报文镜像、探测报文构造以及随流检测三大类，均需要采用专用网络分析器对交换机上报的路径数据进行关联分析， 可视化呈现业务报文在网络内转发的逐跳设备及出/入物理端口。 2.1.2.1. 镜像技术镜像技术 远程网络流量监控技术 ERSPAN 是一种三层远程镜像技术，通过在交换机设
10、备上配置流分类规则，复制例如指定端口、VLAN 等数据报文，通过隧道技术将复制的报文发送到远程数据监测设备，远程数据监测平台根据采集到的ERSPAN 报文计算出流量转发路径， 网络管理员借助于远程数据监测平台进行网络监控。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 3 图 1 ERSPAN技术示意图 以 BM1 访问 BM2 为例，整个过程如下： 第一份镜像报文， 为 Leaf1 入方向的报文， 该报文为 BM1 发出的原始报文； 第二份镜像报文，为 Spine1 入方向的报文，该报文为 Leaf1 转发的 BM1 发出的报文； 第三份镜像报文， 为 Leaf2
11、 入方向的镜像报文， 该报文为 Spine1 转发的业务报文。 IP 报文在网络设备中进行三层转发时，IP 首部的 TTL 字段会逐跳递减。基于该原理，分析器对采集的 TCP 报文先按照内层报文内容进行匹配，识别从各交换机上采集的三份 TCP 报文属于同一个 TCP 会话。再根据内外层报文的 TTL进行降序排列，并根据一定匹配识别规则计算，最终还原出原始 TCP 报文的转发路径。 ERSPAN 技术适用于 TCP、RDMA 等会话可视化，当前未能覆盖数据中心所有业务报文通信场景。 2.2.2.2. 探测报文构造技术探测报文构造技术 探测报文技术指基于业务报文特征构造特殊探测报文， 通过跟踪探测
12、报文转发路径得到流量路径的一种技术。该方案一般应用于 SDN 网络，依托 SDN 控制器构造特殊探测报文并向转发设备下发配置， 沿途转发设备识别探测报文并进行ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 4 转发，同时将探测报文路径信息上报至控制器，控制器根据收集的路径信息进行整合处理，绘制流量路径。 图 2 探测报文构造技术示意图 通过探测报文构造技术绘制路径信息过程如下： （1）SDN 控制器纳管设备后，对纳管设备下发配置：例如将匹配 DSCP 特征值的报文上送 SDN 控制器； （2）SDN 控制器构建探测报文通过 OpenFlow 协议封装成 packet-
13、out 报文发送给探测起始设备即首跳设备，探测报文携带特征值； （3）首跳设备根据转发信息将探测报文转发给下一跳设备； （4）沿途设备把匹配 DSCP 特征码的报文通过 OpenFlow packet-in 报文上送 SDN 控制器， packet-in 报文携带报文信息、 报文出入端口信息、 设备信息等； （5）SDN 控制器整理收集的 OpenFlow packet in 信息，并结合物理拓扑计算得到转发路径。 探测报文构造技术能够显示源到目的的路径信息，成为 SDN 网络运维手段之一，但该技术绘制出的路径信息为探测报文路径，可能和真实信息存在偏差。 ODCC-2021-03001 数据中
14、心网络流量分析技术白皮书（中文版） 5 2.3.2.3. 随流检测技术随流检测技术 随流检测技术是一种将流量信息直接封装在数据报文中实现以数据报文为粒度的流量可视技术。当前业界主流的随流检测技术包含 INT、In-situ OAM、IFA、 Inband-OAM 等。 各类技术归属于不同的技术流派， 具有不同的技术代表，由于标准化程度不够，目前尚未实现统一。 随流检测技术同样依赖于数据检测平台， 通过向转发设备采集流量信息并进行分析和处理，实现流量路径可视。依据数据上送模式，分为护照模式（PP，Passport）和明信片模式（PC，Postcard）两种。 护照模式指业务路径上的每个节点将质量
15、检测数据添加至用户数据报文中，一直到尾节点才解封装并将采集信息输出至采集器。 护照模式保留整个路径数据信息，减少数据导出数据包的数量和带宽开销，有助于简化数据检测平台和分析器的工作。 明信片模式指业务路径上每个节点将采集的本地流量数据封装成独立报文直接上报给数据检测平台。明信片模式保持了数据报文的完整性，采用独立的报文输出质量信息数据，填补了护照模式的缺陷，但需要更多带宽以及计算开销去关联一条流端到端的质量信息数据。 表 1 随流检测技术对比表 INT In-situ OAM IFA Inband OAM MD MX XD IOAM DEX 上报模式 PP PC PC PP PC PP&PC
16、PC 报文修改 （每节点/头节点） 每节点 头节点 无修改 每节点 头节点 均可 头节点 检测方式 随路/复制检测 随路/复制检测 随路/复制检测 随路检测 丢包统计 不支持 不支持 不支持 支持 路径可视 支持 支持 支持 支持 测量信息 较多 较多 较多 少 技术代表 Intel、盛科等 思科等 博通等 华为等 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 6 2.3.1.2.3.1. INT 技术技术 INT 技术是 Intel 为主导提出的一种新的遥测技术，通过在数据层面收集网络状态并上报来实现网络状态的监控。 INT 报文头插在 4 层报文头以下，具体的报
17、文格式如下： 图 3 INT报文头格式示意图 表 2 INT报文头各字段及含义表 属性 比特数 含义 Ver 4 版本号 D 1 置位后，尾节点（Sink Node)在提取MD信息后，丢弃该报文 E 1 Max Hop Count exceeded，若节点由于剩余跳数为0，无法添加自己的元数据，则必须置位。源节点（Source Node)sha应置0 M 1 MTU exceeded Hop ML 5 每跳MD的长度 Remaining Hop Count 8 允许将其元数据添加到包中的剩余跳数 Instruction Bitmap Domain Specific ID 16 16 Metad
18、ata数据的具体内容 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 7 INT域的唯一标识，如果域特定ID与此节点已知的任何域ID匹配，则需对域特定标志（DS标志）和域特定指令（DS指令）进行额外处理 DS Instruction 16 由domain specific ID标识的INT域的指令位图。每个被设置的位都要求在插入校验和补码之前将域特定元数据附加到基线元数据 根据其上报方式及封装格式， INT 技术细分为 INT-MD （eMbed Data） 、 INT-MX（eMbed instructions）、INT-XD(eXport Data)等。 （1）I
19、NT-MD 技术 INT-MD 是经典的内嵌式带内遥测技术，采用护照模式上送。在该模式下，INT 域中含有三类主要功能节点：INT 源节点（INT Source Node)、INT 尾节点（INT Sink Node)和 INT 传输节点（INT Transit Node）。其中，INT Source 和 INT Sink 是遥测线路的起点和终点，起点负责指出需要收集信息的流量和收集的信息，终点负责将收到的信息进行整理并上报。INT Transit Hop 是线路上支持 INT技术的所有设备。 图 4 INT-MD示意图 在报文转发过程中， INT Source 节点在报文中封装一个 INT
20、报文头 （INT header） ， 同时定义 INT instruction， 并在 INT header 后添加元数据 （INT Metadata） ，将需要收集的交换机信息填入 INT Metadata 中，并随报文一起送到下一节点。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 8 INT Transit 节点在原有的 INT instruction 和 Metadata 后添加本节点Metadata 信息，并送往下一节点。 INT Sink 节点将报文中所有的 INT Metadata 从报文中剥离，合并本节点的 Metadata 封装成 INT 报文上送
21、数据检测平台。 （2） INT-MX 技术 INT-MX 是采用明信片模式上报的带内遥测技术，在该模式下，INT 域中含有三类主要功能节点：INT 源节点（INT Source Node)、INT 尾节点（INT Sink Node)和 INT 传输节点 （INT Transit Node） ， 但是各个角色的节点具体作用和 INT-MD 有一定差异，只在 INT Source 节点修改原始报文。 图 5 INT-MX示意图 在报文转发过程中， INT Source 节点在报文中封装一个 INT 报文头 （INT header），同时定义 INT instruction，将本节点的 Metad
22、ata 封装成 INT 报文直接上送数据监测平台。 INT Transit 节点根据 INT instruction，将本节点的 Metadata 封装成 INT报文上送数据监测平台。 INT Sink 节点根据 INT instruction 生成本节点的 Metadata，上送至数据检测平台，同时剥离掉 INT header 和 INT instruction 信息。 （3） INT-XD 技术 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 9 INT-XD 同样是采用明信片上报的带内遥测技术，但在该模式下，没有 INT Source 节点、INT Transi
23、t 节点及 INT Sink 节点区分。每个 INT 节点都具备同样的角色， 都是根据控制平面预先配置的检测流信息， 将检测到的随路 Metadata 信息直接封装成 INT 报文，发送至数据检测平台。该模式下 INT 节点不会对数据报文做任何修改。 图 6 INT-XD示意图 INT 技术的随路检测特性能够保证获取业务流量信息的准确性， 并在信息的收集类型上存在一定的自由度。 但 INT 技术依赖于预先定义的流策略， 只能监测特定路径上的某些数据包流量数据。 2.3.2.2.3.2. In-situ OAM 技术技术 In-situ OAM(IOAM)是由以思科为主导的一种随路检测技术，和
24、INT 类似，IOAM 同样借助于数据面业务进行网络状况的收集、携带、整理、上报，不使用单独的控制面。 IOAM 封装信息可作为 IPv4/IPv6 可选项来封装处理。其具体的 IOAM 报文格式如下： ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 10 图 7 IOAM报文头格式示意图 表 3 IOAM报文头各字段及含义表 属性 比特数 含义 Namespace-ID 16 默认为0；用于节点匹配判断 NodeLen 5 必须设置，4字节倍数标识每节点数据长度 Flags 4 Bit0置位表示如果没有足够的字节来记录节点数据， 则不添加任何段；Bit1置位表示环回
25、模式，用于将数据包的副本发送回源；Bit2置位表示是一个活动的OAM数据包，不是业务数据包，解封装后不需要转发；Bit3置位表示每个支持IOAM的节点立即导出IOAM数据字段，不添加到数据包中 RemainingLen 7 在节点数据列表被认为溢出之前，此字段以4字节的倍数指定用于记录节点数据的数据空间 IOAM-Trace-Type 24 用于指定在此节点数据列表中使用的数据类型 Reserved 8 预留字段 IOAM 域中含有三类主要功能节点：封装节点（Encapsulating Node）、传输节点(Transit Node)和解封装节点 （Decapsulating Node)。 根
26、据数据上报模式不同，IOAM 又分为标准 IOAM 和 IOAM-DEX 模式。 （1） 标准 IOAM 标准 IOAM 信息采用逐跳累加转发信息并以护照模式进行上报。IOAM 采用 IP 扩展字段来携带 OAM 信息，需按照 4 字节对齐模式，在较多转发节点的情况下，对设备和网络带宽资源消耗大。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 11 图 8 标准IOAM示意图 在报文转发过程中，Encapsulating 节点给指定业务报文增加 IOAM instruction，将需要收集的交换机信息填入 IOAM Metadata 中，并随报文一起送到下一节点。
27、Transit 节点在原有的 Metadata 后添加本节点 Metadata 信息， 并送往下一节点。 Decapsulating 节点将报文中所有 Metadata 从报文中剥离，合并本节点的Metadata 信息封装成 IOAM 报文上送数据检测平台。 （2） IOAM-DEX IOAM-DEX 采用非逐跳累加，以明信片模式上报。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 12 图 9 IOAM-DEX示意图 在报文转发过程中，Encapsulating 节点给指定报文添加 IOAM instruction，将本节点的 Metadata 封装成 IOAM
28、报文直接上送数据监测平台。 Transit 节点根据 IOAM instruction， 将本节点的 Metadata 封装成 IOAM 报文上送数据监测平台。 Decapsulating 节点根据 IOAM instruction 生成本节点的 Metadata，上送至数据检测平台，同时剥离掉 IOAM instruction 信息。 IOAM 随路检测特性同样能够保证业务流量信息的准确性， 在信息的收集类型上自由度略低于 INT， 可编程性较差， 且由于 IOAM 报文信息封装在 IPv4/IPv6的 option 字段，数据中心交换机芯片不对 option 内容进行处理，直接交由主机CP
29、U 处理，会对主机 CPU 资源消耗较大。 2.3.3.2.3.3. IFA 技术技术 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 13 IFA 是以博通为主导提出的一种带内遥测技术， 可实现数据中心网络流量可视化监控。支持 IFA 的网络设备将数据包在芯片内转发信息转化为元数据（IFA Metadata），并通过灵活的封装形式及高效传输方式将该流量信息以 IFA 报文上送数据检测平台。 IFA 头插在 Layer3 和 Layer4 之间，定义一个实验性的 IP 协议编号在 IP 头中用于标识 IFA 数据包，并将其值复制到 IFA 头 NextHdr 位，使得
30、硬件可以正确解析四层头的位置。具体的 IFA Header 定义格式如下： 图 10 IFA报文头格式示意图 表 4 IFA报文头各字段及含义表 属性 比特数 含义 Ver 4 指定 IFA 报头的版本 GNS 4 全局命名空间，指定IFA区域范围IFA Metadata的命名空间 NextHdr R MF TS I TA C 8 3 1 1 1 1 1 IP Header协议类型，从IP头复制 保留位,传输时必须初始化为0，并且收到时被忽略 Metadata分片。 表示可选的Metadata分片头存在。 Initiator节点负责初始化和插入该分片头。 如果设置了MF位， 中间节点可以对Me
31、tadata栈进行分片操作 尾印。表示 IFA 区域需要对Metadata进行尾部操作 带内。表示这是live流量 环回。表示该IFA报文需要在Termination节点上发回给原IP地址的节点。该比特可以灵活的用于双向探测流量，探测该路径上全部节点双向质量 表示校验和头的存在 Max Length 8 指定Metadata栈最大允许长度，为4个八位字节的倍数。由Initiator节点负责初始化， 路径中的每个节点必须比较当前长度ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 14 与最大长度，如果当前长度等于或超过最大长度，节点停止插入Metadata IFA Me
32、tadata 头位于 4 层头后，用于定义需要采集的信息，具体的格式定义如下： 图 11 IFA Metadata头格式示意图 表 5 IFA Metadata头各字段及含义表 属性 比特数 含义 Request Vector 8 可作为GNS的扩展 Action Vector 8 定义对IFA报文本地或端到端的操作。其中，0（L）衡量数据包丢失；1（C）用于标记数据包；2-7: 保留。传输时必须初始化为 0，并且收到时被忽略 Hop Limit 8 指定IFA域中最大跳数。该值由Initiator节点负责初始化，并在每一跳递减；如果收到的报文中该值为0，当前节点不再插入Metadata；0
33、xFF表示可忽略Hop Limit检测 Current Length 8 指定当前Metadata长度 IFA 域中含有三类主要功能节点： 头节点 （Initiator Node)、 传输节点 （Transit Node)和尾节点（Termination Node)。IFA 可以通过修改 Metadata header 的相关字段来选择护照模式还是明信片模式。下面示意图以护照模式为例： ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 15 图 12 IFA尾节点上报示意图 头节点依据策略配置对业务流量进行采样， 通过添加 IFA 头 （IFA header）将流量标识
34、为 IFA 流量样本，并插入本节点信息作为元数据（Metadata）。为不影响业务原始报文，IFA 头节点也支持对业务流量进行复制操作，在复制的报文中插入本节点相关信息作为元数据，因复制的流量和原始流量具备相同的特性，同样会流经相同的转发路径。 传输节点用于识别 IFA 流量并插入本节点的 Metadata。 尾节点识别 IFA 流量，插入本节点信息，最终剥离 IFA 头并从报文中截取整个路径元数据信息上送数据检测平台，恢复后的原始报文进行正常转发。对于复制的数据报文直接上送或截取元数据信息上送数据检测平台。 IFA 技术依赖于芯片处理能力， 可通过策略配置实现流量自定义和按需部署，具备一定灵
35、活性。作为数据中心交换机的主流芯片，博通芯片新系列天然支持IFA 技术，为数据中心流量可视化提供基础设施的支持。 考虑到芯片处理能力和上报能力， 需要按照一定的采样比抽取报文进行相应的检测，不同的业务流大小不同，很难设置较合适的采样比。同时该方案无法做到丢包统计。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 16 2.3.4.2.3.4. Inband-OAM 技术技术 Inband-OAM 是一种基于染色的随流检测技术，主要特点是在入节点对检测报文添加染色报文头，中间转发节点不对报文做修改处理，出节点将添加的染色头解封装。 目前该技术只对 IPV6 报文的封装有
36、标准草案说明， 该信息封装在 IPv6 扩展头的“选项数据”字段中，具体封装格式如下： 图 13 基于IPv6扩展头选项字段的IOAM格式示意图 表 6 基于IPv6扩展头选项字段的IOAM各字段及含义表 属性 比特数 含义 Option type 8 option类型标识 Opt Data Len 8 option数据长度（字节数） FlowMonID 20 业务流标识，设备内唯一 L Flag 1 业务流标识，设备内唯一，丢包测量染色标识 D Flag 1 时延测量染色标识，置1时，要求向分析器上报时间戳信息 HTI 8 标识扩展头的类型。取值如下：0：保留；1-15：私有扩展；16-25
37、5：标准扩展。本规范定义的扩展类型取值为16 NodeMonID F Flag P T ExtFMType 20 1 3 2 16 设备节点标识，检测系统内唯一 业务流方向标识， 置1时， 标识需要进行反向业务流的自学习，尾节点根据正向流信息五元组触发反向流检测 测量周期， 取值和表示的周期如下： 000:1s； 001:10s； 010:30s；011:60s；100:300s；其他：预留 标识检测类型：00：保留；01：端到端检测；10：逐跳检测；11：预留 扩展流检测类型标识，通过bitmap标识，取值定义暂时预留 Inband-OAM 域含有三类主要功能节点： 封装节点， 转发节点，
38、解封装节点。 封装节点在入节点采用五元组为 IP 业务流分配流 ID（Flow ID），对特ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 17 定报文进行染色。 转发节点通过匹配 Flow ID， 收集报文对应的转发信息， 将信息上报给数据检测平台。 解封装节点通过匹配 Flow ID， 收集报文对应的转发信息， 将信息上报给数据检测平台，同时删除封装头信息，恢复原始报文。 Inband-OAM 同步支持路径探测和丢包检测，对转发面影响较小，测量结果精准且只产生少量的测量数据。 3. 丢包可视技术丢包可视技术 依据报文守恒原理，一段时间（多个周期内）网络的入报文数量
39、和出报文数量应该相等，若不相等，则网络存在丢包现象。丢包可视化指的是能够精确反映丢包的情况即丢包统计，并针对性给出丢包原因分析。丢包统计包含丢包数量统计和丢包位置定位， 丢包数量统计指在某一段测量时间周期内进入网络和离开网络的数据包差值和比例，丢包位置统计指丢包精确定位。丢包原因包含丢弃报文的详细信息以及发生丢弃事件的具体原因。 业界常用的基于流量级别的丢包统计技术为染色技术，丢包原因分析主要借助于芯片的能力实现。 3.1.3.1. 染色技术染色技术 染色技术是一种对报文特殊标记的技术，通过设置染色位又称特征标识位，对目标流量进行周期性标记，进而达到对目标流周期性采样和统计的目的。染色技术应用
40、于丢包场景时，对业务报文直接测量，测量数据能够真实反映网络质量状况和丢包情况。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 18 图 14 染色技术示意图 发送端：给指定报文添加检测头，并按照一定周期对被检测的业务流标记字段交替染色，同时统计本周期发送的染色报文数，并上报给管控系统。 接收端： 按照发送端相同的周期， 统计本周期特征业务流染色报文数量，并上报给集中计算单元。接收端统计的时间应在 12 个周期之间，以容忍发送端和接收端之间的时间偏差，同时保证乱序报文可被正确统计。 设备内丢包检测： 使用同一设备上报的 Ingress 流表和 Egress 流表中相同
41、周期的统计信息进行比较，计算每条流在节点内的丢包情况。 设备间丢包检测：使用一条链路上行设备 Egress 流表和下行设备 Ingress流表基线比较，计算每条流在设备间的丢包情况。 管控平面根据发送端和接收端上报的被检测业务流的信息， 计算周期i业务流的丢包数和丢包比例。 3.2.3.2. 丢包原因分析技术丢包原因分析技术 网络中发生丢包现象后，一方面需要统计丢包信息，及时发现网络故障；另一方面需要对丢包原因进行分析，进而辅助网络诊断。目前业界丢包原因分析技术主要依赖于芯片能力。 目前丢包原因分析能够实现丢弃报文的特征分析和丢弃原因分析。 丢弃报文ODCC-2021-03001 数据中心网络
42、流量分析技术白皮书（中文版） 19 的特征分析包含源 MAC 地址、 目的 MAC 地址、 VLAN、 以太类型、 源 IP 地址、目的 IP 地址、源端口号、目的端口号、原始报文头、丢弃报文的源端口名称、报文丢弃的时间、丢弃报文数量等，获取该报文特征有利于判断丢包的影响面，也便于进一步分析丢包原因。目前依据芯片能力，能够分析出 IPv4 目的 IP 未命中路由表、IP 组播报文错误、未知 VLAN、IPv4 报文头错误、隧道报文头错误、奇偶校验错误等丢包原因。 在设备启用丢包分析相关功能时，若设备上发生丢包现象，设备 CPU 会生成对应的丢包信息，丢包信息会定期上报给数据分析平台，进而便于管
43、理员了解网络情况、快速定位。 使能丢弃报文捕获功能后，设备将捕获到的丢弃报文上送 CPU 处理，由于上送 CPU 速率和 CPU 处理性能受限，该功能适用于部分流量场景，无法覆盖全部流量信息。对于芯片无法分析和统计的部分丢包原因，例如 PHY 和 MAC 产生的丢包等，还需借助其他工具和手段进行。 4. 下一步工作建议下一步工作建议 网络可感可知是实现网络智能化的前提， 数据中心网络流量分析是提升数据中心网络运维精度和效率的重要手段之一， 更是网络智能化管理和维护的技术底座。通过分析业界数据中心网络流量分析相关技术，我们发现各类技术流派实现的功能或场景趋同，但实现方式不同；具体表现为报文封装格
44、式或技术手段呈现封闭性特点，无法互操作，需进一步提升标准化水平和开放性。 标准化和开放性具体表现在网络设备对数据包的处理方式标准化、 网络设备对数据检测平台的接口标准化两大类。 数据包处理方式具体体现在报文封装方式、流量信息定义、染色机制等；网络设备和数据检测平台接口具体包含信息上报的传输方式和具体接口字段。 数据检测平台作为数据处理、流量分析和功能呈现的平台级设备，需在架构和功能上持续进行优化，清晰准确的展现网络可视化报告，提高网络维护效率和智慧化水平。 ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 20 参考文献参考文献 1 IETF RFC 8321 Alte
45、rnate-Marking Method for Passive and Hybrid Performance Monitoring. 2 IETF draft-kumar-ippm-ifa-02 带内随流分析技(inband Flow Analyzer). 3 ICT Express In-band Network Telemetry(INT)Dataplane Specification 带内网络遥测(INT)数据平面规范. 4 IETF draft-ietf-ippm-ioam-data-14 带内 OAM 的数据域定义(Data Fields for In-situ OAM). 5 I
46、ETF draft-ietf-ippm-ioam-direct-export-05 带内 OAM 的直接导出模式(in-situ OAM Direct Exporting). 6 IETF draft-ietf-6man-ipv6-alt-mark 替代标记的 IPv6 应用(IPv6 Application of the Alternate Marking Method). ODCC-2021-03001 数据中心网络流量分析技术白皮书（中文版） 21 缩略语缩略语 BD Bridge Domain 二层广播域 ERSPAN Encapsulated Remote Switch Port A
47、nalyzer 远程流量镜像 IFA Inband Flow Analyzer 带内流分析技术 In-situ OAM In-situ Operation Administration anMaintenance 带内 OAM INT Inband Network Telemetry 带内网络遥测技术 MAC Media Access Control 媒体访问控制子层协议 NVE Network Virtualization Edge 网络边缘设备 Packet-in 转发设备向控制器发送的报文 Packet-out 控制器发送转发设备的报文文 PHY Physical Layer 物理接口收发器 TCP Transmission Control Protocol 传输控制协议 TTL Time to Live 生存时间 VLAN Virtual Local Area Network 虚拟局域网
sgpjbg002
工作日 8:30 - 17:30
会员动态：
报告分类
新质生产力
ChatGPT
新能源汽车
大模型
Sora
机器人
微短剧
芯片
薪酬
白皮书
低空经济
数据要素
创新药
人工智能
AI产业
信息科技
互联网
消费经济
汽车交通
电商零售
传媒娱乐
医药健康
投资金融
能源环境
地产建筑
传统产业
英文报告
其它
扫码登录
手机快捷登录
账号登录
