1、智能时代数据中心网络实践与趋势3无人驾驶汽车小故事百度AI开发者大会：李彦宏乘坐无人驾驶车赶到会场百度世界大会：无人驾驶罚单已经来了，量产还会远吗？百度世界大会：2018无人车实现量产4信息链、智能链、智慧链超脱（Detachment）超越（Transcendence）发展（Development）生存（Survival）智慧链 智能链 数据（Data）信息（Information）知识（Knowledge）智能（Intelligence）智能模块（Intelligent Module）智能产品（Intelligent Product）智慧（Wisdom）灵感（Inspiration）灵魂（S

2、oul）逻辑推理（Logical Reasoning）封装（Capsulation）总成（Integration）升华（Sublimation）形象思维（Thinking in Images）突发（Outburst）规律（Regular Pattern）环境（Context）信息链 丁秋林 教授5大数据、人工智能应用对数据中心网络提出新挑战人工智能高性能计算实时大数据分析深度学习分布式计算分布式存储计算、存储分离低时延无丢包高性能6时延的组成光电传输时延数据串行时延设备转发时延光电传输时延是固定值，没法改变取决于芯片技术，依靠升级芯片来降低时延效果有限重点突破主机处理时延重点分析7整合解决方案

3、主机处理时延网络转发时延无丢包RDMA+RoCE兼顾成本、技术成熟度PFC+ECN 通过流控技术，避免网络拥塞造成的业务丢包高性能低收敛比方案（10G/25G网络）根据集群容量、带宽总需求设计810G数据中心网络架构2级三层架构每台TOR 4*40GE/100GE上联2核心，OSPF组网；适用集群规模200500台；IDC内交互收敛比1:1，集群带宽25Tbps。中小型LeafSpine40GE/100GE每台TOR 4*40GE/100GE上联2核心，OSPF或BGP组网；适用集群规模100010000台；IDC内交互收敛比1:1，集群带宽10100Tbps。中型LeafSpine40GE/

4、100GE每台TOR 4*40GE/100GE上联4核心，BGP组网；适用集群规模800020000台；IDC内交互收敛比1:1，集群带宽80200Tbps。大型LeafSpine40GE/100GE910G数据中心网络架构3级三层架构单POD集群规模3001000台，数据中心集群规模20000+，BGP组网；POD内收敛比1:1，单POD集群带宽310Tbps；上联带宽根据集群规模灵活配置。LeafSpine40GECorePOD1LeafSpine40GEPODnn*40GE/100GE超大型1025G数据中心网络架构2级三层架构每台TOR 8*100GE上联8台32口100G BOX，O

5、SPF/BGP组网；适用集群规模1000台；每台TOR下联32台Servers，IDC内收敛比1:1，集群带宽25Tbps。Leaf8*100GESpine中小型每台TOR 8*100GE上联8台64口100G BOX，OSPF/BGP组网；适用集群规模2000台；每台TOR下联32台Servers，IDC内收敛比1:1，集群带宽50Tbps。Leaf8*100GESpine中型每台TOR 8*100GE上联48核心（机框式），BGP组网；适用集群规模200018000台；每台TOR下联32台Servers，IDC内收敛比1:1，集群带宽50450Tbps。Leaf8*100GESpine大型

6、1125G数据中心网络架构3级三层架构单POD集群规模10002000台，数据中心集群规模20000+，BGP组网；POD内收敛比1:1，单POD集群带宽25Tbps，总集群带宽500Tbps+；POD内收敛比和上联带宽根据集群带宽需求灵活配置。LeafSpine100GECorePOD1LeafSpine100GEPODnn*100GE超大型12主机处理时延RDMA&RoCE 13低时延无损网络PFC功能介绍PFC 机制将以太链路上的流量区分为不同的等级，基于每条流量单独发送“不许可证”，说明如下：1）如果本设备所有优先级的流量都没有拥塞，则不发送任何信息给对端发送，对端可以正常发送流量；2

7、）如果本设备的某一优先级的流量出现了拥塞，则向对端设备发送信息；3）拥塞结束，停止发送“不许可证”，对端可以正常发送流量，避免了丢包的发生；4）对于二层报文，其优先级来源为802.1p优先级；对于三层报文，其优先级可以通过将DSCP优先级映射成8个优先级来获取。优势：相对于pause帧而言，PFC可以将链路虚拟出几条不同等级的虚拟通道。这样当某条通道出现拥塞后不会影响其他通道。劣势：1）只在两台设备的端口之间作用；2）PFC属于逐级反压，会有较大的延迟。14低时延无损网络ECN功能介绍ECN（Explicit Congestion-Notification，显式拥塞通告）主要在TCP报文流的场

8、景中应用，利用IP报文头部中的ECN标志位，在设备中出现拥塞时，对于支持ECN标记的报文，将ECN标志位设置为CE状态。TCP报文的接受方检测到报文中存在CE标志状态时，会在随后的ACK报文的TCP头中设置ECN-Echo标志位来指示拥塞。当发送端接收到该ACK时，就可以根据其ECN-Echo标志位来判断出网络链路上发生了拥塞，从而可以做出相应的调整。优势：1）该功能基于IP协议及TCP协议，在TCP连接的两端发送方和接受方上发生作用，从而达到流控的目的；2）实现了端到端的流控，在丢包发生前就主动进行拥塞控制，避免了由于丢包导致的TCP流的慢启动，维持TCP流的稳定，有效避免拥塞。劣势：当服务

9、器A发现通路有拥塞的时候，会减少发包，但是实际上这个通路上的拥塞并不是由服务器A的业务造成的。15低时延无损网络应用架构POD1POD2在线离线ECNECNECNECNPFCPFCPFCPFC16PFC&ECN 功能改进，提升运维效率统计功能加强（每个port的所有queue）1.ingress和egress方向的drop count；2.发送/接收的PFC个数；3.PG peak headroom值；4.egress buffer超过水位和门限的次数；5.报文被Mark ECN标记个数；6.ingress和egress方向的buffer监控。异常情况可以告警：1.Incast：a)网卡侧持续

10、发送大量CNP报文（网络incast导致，ECN流控介入，属正常现象）；2.burst丢包：网卡侧没有持续的发送或收到CNP报文，但交换机ingress或egress方向的RDMA流量有丢包（说明PFC或ECN门限设置不合理）；3.slow receiver symptom：网卡主动发送PFC pause（正常情况下网卡应该发送CNP来通知发端降速，如果出现网卡主动发PFC属于异常，需要报警）；4.PFC storm：整个pod下的交换机都有收发PFC pause（PFC storm会引发严重故障，需要严格监控）；5.PFC deadlock：网卡持续收到PFC pause,或交换机持续发送P

11、FC pause。17智能运维技术Buffer水线可视化18智能运维技术报文路径可视化在报文传输节点添加 INT信息，从而可以：确定报文去向、传输耗时 添加Switch-ID，时间戳，Residence-time确定报文在每台交换机的选路信息 添加Ingress-port,Egress-port,Queue ID确定报文在交换机内部的状态 添加拥塞信息 添加链路使用率对添加了INT信息的报文镜像并封装（可考虑结合ERSPAN把报文发到分析服务器）19 流量特征自分析 流量模型自学习 流量转发自调度 故障自诊断 故障自恢复 智能运维技术运用AI技术的网络运维祝大家可以早日实现一边喝着咖啡一边运维基于AI技术的网络自动化运维已启程我们锐捷将会为此不断创新产品和方案20最后互联网行业网络解决方案主流供应商，服务的互联网企业超过200家深入业务创新方案，针对互联网IDC、办公网、CDN、商业Wi-Fi等场景推出方案并实现规模应用，获得客户好评产品及解决方案广泛应用于百度、阿里、腾讯、奇虎360、今日头条、网宿科技、爱奇艺、美团等互联网企业数据中心核心产品全面应用于阿里巴巴、腾讯、奇虎360、爱奇艺等互联网企业