1、SDWAN控制系统收敛性问题初探SDWAN场景极为丰富网络形态也具有惊人的多样性在广域网范围对网络资源进行调度和管控涉及到多层管控体系集中式+分布式集中式+分布式分布式分布式网络收敛性如何定义？和一致性、可用性、分区容错性是什么关系？分布式路由协议的收敛性以所有路由器完成路由表正确计算为收敛完成标志分布式路由协议的收敛性魔鬼藏在细节里p 关心的问题n 和谁交换信息n 交换什么信息n 何时交换信息p 不关心的问题n 来源是否可信n 信息是否完备n 时机是否恰当路由信息库维护p 关心的问题n 计算时效性与风险n 路由准确性与成本n 查询效率与扩展性p 不关心的问题n 历史数据有何关联n 计算结果是

2、否更优n 更新顺序如何控制路由表维护分布式路由协议的收敛性场景决定策略输入数据不可控p 管理域间场景n 开放系统互联n 低信任度环境n 网络可控性差p 管理域内场景n 控IP易控应用难n 用户行为不可控n 资源约束灵活性n 稳定性压倒一切输出结果可控p 路由器知道n 网络变化了n 重新计算了n 路由更新了p 路由器不知道n 变化的原因是什么n 变化持久还是临时n 其他人更新了没有n 更新结果好还是坏三分天下得其二三捞到一票算一票分布式系统一致性和分布式控制收敛性的差异场景、目标决定机制、逻辑服务要求较高容忍度比较低事务界限清晰追求可用一致与不确定共生最低限度服务事务概念模糊时间摆平一切分布式网

3、络系统的收敛性无状态控制+定时器策略我不知道我算的结果准不准我不知道别人算出什么结果我不知道别人说的是真是假我不知道我收的数据全不全路由器不知道这些结果是否正确、拼在一起意味着什么分享决策依据，不分享决策结果分布式网络系统收敛性的核心活着好死不如赖活着结果总会向好的方向发展过程虽然曲折但也别无良策真相从不缺席，只会迟到广播的渗透力无人能及路由器知道诗和远方都不如眼前的苟且重要独善其身=兼济天下选主也只是为了选主MASTER并不MASTER完备的信息我除了IP大没有其他优点抽签能决定的事没必要拼德才你们的干部选拔太随意了我只是个传声筒传没传到不保证他们干啥我也管不着怎么COMMIT我自己说了算放

4、浪不羁的背后是互联网复杂巨系统众口难调，场景越复杂解决方案越简单SDWAN改变了什么在BestEffort网络上提供超越BestEffort的服务控制器Best Effort流量工程业务切片专线保障抽象网络具体网络抽象控制具体控制更高品质服务要求更强大的控制决策水平取决于决策依据的精确性、实时性控制器Best Effort流量工程业务切片专线保障更高品质服务要求更强大的控制决策水平取决于决策依据的精确性、实时性控制器流量工程业务切片专线保障抽象网络具体网络抽象控制具体控制需求字段 字段值 srcId 34 desId 37 srcIp 10.0.34.1 desIp 10.0.37.1 typ

5、e user buildType 2 qosMode None backupPathNumber 2 控制器转发策略转发条目抽象网络视图控制代理控制代理控制器网络状态信息更高品质服务要求更强大的控制决策水平取决于决策依据的精确性、实时性流量工程业务切片专线保障抽象网络具体网络抽象控制具体控制需求字段 字段值 srcId 34 desId 37 srcIp 10.0.34.1 desIp 10.0.37.1 type user buildType 2 qosMode None backupPathNumber 2 控制器转发策略转发条目抽象网络视图控制代理控制代理控制器一致性一致性控制器控制器控

6、制器一致性网络状态信息一致性更强大的控制必然伴随更高的复杂性多个控制环路自身的复杂性与相互之间协调复杂性交织控制器控制代理网络设备控制代理控制器应用控制器控制代理网络设备控制代理控制器控制器控制器SDWAN是典型的混合控制系统控制环路之间存在很强的依赖关系控制器控制代理控制代理控制器应用控制器控制代理控制代理控制器控制器控制器路由协议收敛分布式控制系统一致性网络状态一致性控制逻辑一致性SDWAN系统收敛性多控制器选主以及数据一致性维护不是单纯的分布式系统一致性问题多控制器选主以及数据一致性维护不是单纯的分布式系统一致性问题应用p 网络状态数据不一致 不一致的程度取决于切换或恢复时间多控制器选主

7、以及数据一致性维护不是单纯的分布式系统一致性问题p 网络状态数据不一致 不一致的程度取决于切换或恢复时间p 网络应用服务暂时中断 已经部署的服务同样面临维护中断问题应用p 网络状态数据不一致 不一致的程度取决于切换或恢复时间p 网络应用服务暂时中断 已经部署的服务同样面临维护中断问题p 全局影响无法直接评估 既不关心控制器视图与设备视图差异度 也不关心控制与数据平面是否逻辑自洽 更不关心已下发策略是否仍然成立有效多控制器选主以及数据一致性维护不是单纯的分布式系统一致性问题应用微观 有状态 一致性宏观 无状态 不一致控制器与网络视图一致性维护永远不可能得到精确、实时、同步的网络视图广域网与生俱来

8、的不确定性、延迟、丢包、抖动测量的统计特性决定了精度与时效永远矛盾集中控制平面与分布式控制平面的一致性维护决策的计算与决策的部署都面临可用性和一致性问题计算：决策的可用性准确性取决于网络视图保质期部署：只有成败没有中间状态集中控制平面与分布式控制平面的一致性维护多个应用之间的决策冲突问题计算：决策的可用性准确性取决于网络视图保质期部署：只有成败没有中间状态SDWAN网络收敛似乎是不可能完成的任务每一个环节都面临无法突破的瓶颈控制器控制代理控制代理控制器应用控制器控制代理控制代理控制器控制器控制器路由数据库一致性分布式控制系统一致性网络状态一致性控制逻辑一致性SDWAN系统收敛性网络收敛的含义是

9、什么？不是在CAP之间纠结，而是找到东山再起的支点路由数据库一致性分布式控制系统一致性网络状态一致性控制逻辑一致性SDWAN系统收敛性做加法难 做减法易清除掉不一致状态不就一致了吗？做加法难 做减法易主动更新设备状态信息覆盖控制器旧控制器控制代理控制代理控制器应用控制器控制代理控制代理网络状态一致性控制逻辑一致性网络设备视图控制器视图做加法难 做减法也不易用户需求的一致性如何定义？如何实现？控制器控制代理控制代理控制器应用控制器控制代理控制代理网络状态一致性控制逻辑一致性网络设备视图控制器视图需求控制器控制代理控制代理控制器应用控制器控制代理控制代理网络状态一致性控制逻辑一致性网络设备视图控制

10、器视图需求需求控制器数据设备转发表做加法难 做减法也不易用户需求的一致性如何定义？如何实现？控制器控制代理控制代理控制器应用控制器控制代理控制代理网络状态一致性控制逻辑一致性网络设备视图控制器视图需求控制器数据设备转发表需求先收缩：仅保留需求、控制平面、数据平面交集兵贵神速，没有必要纠结于投票问题以需求为牵引剔除逻辑不一致数据应用之间的隔离是判断逻辑一致性的前提控制代理控制器应用再补刀：依据需求信息填补缺失策略和配置顺便更新最初的交集控制代理控制器应用前提是网络基础状态信息完成同步基于错误的信息作出的错误决策既不可用也不可控控制代理控制器应用各阶段是否必须遵循严格时序相互隔离？取决于场景以及不

11、同步的程度控制器控制代理控制代理控制器应用控制器控制代理控制代理控制器控制器控制器控制系统一致性网络状态同步控制策略同步n 控制器切换或重启期间服务停止n 无法评估网络与策略异步程度n 严格按顺序执行n 未完成环节上锁n 控制策略同步以需求为隔离单位控制器控制代理控制代理控制器应用控制器控制代理控制代理主用控制器控制器控制器控制系统一致性网络状态同步控制策略同步n 控制器稳定期间各层独立运行n 各同步环路存在滞后但不会失控各阶段是否必须遵循严格时序相互隔离？取决于场景以及不同步的程度控制器控制代理控制代理控制器应用控制器控制代理控制代理主用控制器控制器控制器n 控制器同步延迟n 网络状态同步延

12、迟SDWAN网络收敛是一个持续追求平衡点的过程但应用要求的时效性和网络收敛的时间成本都是刚性的n 策略计算与部署延迟60ms以下流畅，体验好60ms-100ms 偶有卡顿，良好100ms以上影响体验，差150ms以上无法接受，50ms以下流畅，体验好50ms-80ms 偶有卡顿，良好80ms以上影响体验，差120ms以上无法接受，对时延不敏感即时对战类即时射击类纸牌类游戏用户需求不以网络收敛时间为转移网络收敛需要兼顾服务的平滑过渡问题控制功能下沉能够将宏观与微观问题解耦解耦的价值在于复杂性的指数级下降谷歌：内部驯化BGP+多级控制器获得超级调度能力成功的隔离解耦仍然依赖于强大的运维系统丰富的测

13、量支撑保障能力成就简单的执行方式效能也受制于系统本身的性能瓶颈如何变“不可控”为“可控”如何变“不可控”为“可控”如何变“不可控”为“可控”防患未然积极防御既然矛盾的焦点在于事务串行化导致的时间鸿沟可否引入控制功能下沉与并行化机制获得更大的时间冗余度能用资源解决的问题都是简单问题CPE控制代理控制器CPE控制代理QoSBFDmssm用资源换时间 用时间换时间为应用提供平滑的可持续服务网络收敛服务于面向应用和服务的收敛实现的方式很难用单一理论或架构来定义网络收敛不仅仅是目标 更是一个持续维护的过程你永远不知道广域网当中已经发生了什么、正在发生什么、将会发生什么应用控制系统网络设备控制器控制代理控

14、制代理控制器应用控制器控制代理控制代理网络状态一致性控制逻辑一致性网络设备视图控制器视图需求控制器数据设备转发表需求SDWAN网络收敛应该主动常态化异常事件触发无法解决UNKNOWN UNKNOWNS以及逻辑关联异常控制器控制代理控制代理控制器应用控制器控制代理控制代理n 控制器同步n 网络状态同步n 策略同步SDWAN网络收敛应该主动常态化异常事件触发无法解决UNKNOWN UNKNOWNS以及逻辑关联异常主用控制器控制器控制器逻辑关联异常属于“线”“面”问题常规告警着眼于“点”很难发现和预防控制代理控制器应用分布式路由协议是SDWAN可用性的底线不一致、不可用、分区不可见必定会发生控制器控

15、制代理控制代理控制器应用控制器控制代理控制代理控制器控制器控制器控制系统一致性网络状态同步控制策略同步n 控制器切换期间世事难料n 状态维护不可能面面俱到n 尽力而为总比无能为力好分布式路由协议只会暂时倒下但不会死去广播的渗透性天下无敌谁也不能阻止路由表向着好的方向演化分布式路由协议只会暂时倒下但不会死去在动态平衡中化解不确定性谁也不能阻止路由表向着好的方向演化总结一下SDWAN系统收敛性问题n 网络收敛性的目标是服务的连续性和一致性n 是否可以划分出共性和个性问题的边界？n 复杂性超过通常意义上的分布式一致性问题n 复杂性如何度量和评估？n 网络场景状态以及控制系统本身的复杂性叠加要求对问题隔离解耦n 隔离解耦如何体现在架构设计和开发实现中？n 以应用需求为牵引的逻辑状态一致性需要常态化主动维护n 如何确保各个应用逻辑状态一致性维护的独立性？n 收敛时间瓶颈可以借助资源超量供给以及并行化手段进行缓冲n OVERLAY和UNDERLAY的共性和差异性是什么？