1、GOP S 全 球 运 维 大 会 2019上 海 站GOP S 全 球 运 维 大 会 2019上 海 站微众银行网络架构演进及运维实践GOP S 全 球 运 维 大 会 2019上 海 站目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP S 全 球 运 维 大 会 2019上 海 站银行网络运维的日常业务需求，扩容服务器，配套扩容接入层，涉及连接关系梳理、实施方案，变更方案，IP地址分配，路由发布入网，监控系统录入，切换演练。机柜扩容IDC建设出品链路带宽扩容，运营商核查资源、新增合作伙伴专线接入专线建设、带宽扩容业务系

2、统故障、网络设备故障、网络质量异常。出口容量监控、上联带宽容量监控，网络架构整体容量扩容计划故障处理、容量管理全网季度巡检、以天为单核心设备自动巡检配置基线、实施规范制定修订网络设备OS生命周期管理网络设备巡检、制度规范修订、OS管理NAT地址分配，合作方接入后专线冗余切换，接入个性化需求支持。合作方接入联调网络架构调整的优化变更，主动发现网络架构隐患触发的架构变更网络架构优化变更基础网络建设日常运营网络变更GOP S 全 球 运 维 大 会 2019上 海 站银行网络运维的日常银行标准网络架构与互联网OTT架构相比较，略有复杂，需要重点考虑安全隔离、监管要求，网络运营难度高，两地三中心、多地

3、多中心演进，网络架构复杂度上升灵活跨灵活跨DC流量调度流量调度需要了解基础架构层面各个组件的高可靠实现，掌握IDC相关的基本知识，可以更好帮助设计网络的底层架构，了解上层组件需求，更好的适配业务系统所需要的网络环境由原来的两地三中心，演变成多地多中心，DC的流量如何调度，是一个基本能力。流量的可视化，针对网络设备buffer、管道通信质量的细颗粒度监控，成为网络运营关注的重点GOP S 全 球 运 维 大 会 2019上 海 站银行网络运维7*24应急响应UIOC重大故障现场抗压能力快速决策升级汇报机制应急预案快速执行ECCTCP/IP协议栈OSPFBGPSTPLACPMPLS VPN数据包分

4、析能力Liunx系统操作能力Pythonshell脚本语言编程能力银行业务系统理解技术栈网络架构设计监管要求变更、故障处理规范要求审计风险评估能力操作规范、管理规范。等合规制度GOP S 全 球 运 维 大 会 2019上 海 站目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP S 全 球 运 维 大 会 2019上 海 站WeBank分布式架构交易笔数峰值3.23.2亿亿/天天消息峰值2424万万/秒秒子系统10001000个个物理服务器80008000台台全分布式架构支持业务快速发展注：“交易”是指交易请求从进入银行前置

5、到处理完成并返回的整个过程，是对端到端的交易笔数统计。“消息”是指系统间调用的消息，是对系统间相互调用次数的统计。数据截至2018.12GOP S 全 球 运 维 大 会 2019上 海 站WeBank分布式架构微众架构互联网传统金融海量用户海量交易海量数据安全稳定影响可控高性能亿级客户量亿级日交易量高弹性容量扩展性性能扩展性低成本开源技术低端服务器资源高可用快速恢复高冗余低风险故障影响隔离影响范围小高标准自动化运维规模化管理安全可控的全分布式架构GOP S 全 球 运 维 大 会 2019上 海 站7*24不停服-网络服务能力挑战实时金融交易-网络稳定可靠连接合作伙伴能力智慧运维网络架构稳定

6、，变更、故障流量切换对业务无感知。连接金融机构、连接合作伙伴，具备开放、便捷，灵活、安全的接入能力。海量用户服务能力，互联网接入流量需要弹性灵活跨地域BGP切换，避免运营商网络故障对用户接入影响实时的网络监控告警、东西向流flow采集分析、容量监控预警，故障一键隔离自动化连接用户GOP S 全 球 运 维 大 会 2019上 海 站WeBank生产网架构构建思路可扩展性流量可调度可切换低延时可视化标准化 网络转发必须是低时延 出口流量可跨DC间进行调度 DC间网络可平行扩展 架构设计必须标准化、模块化 管道流量可采集可回溯 Farbic节点故障可快速倒换GOP S 全 球 运 维 大 会 20

7、19上 海 站WeBank生产网架构构建思路 DCN架构应该如何来搭建 BGP还是OSPF？容器的网络方案如何适配？承载Hadoop大数据业务能力 RDMA场景网络支撑能力 东西向Flow采集分析展示能力GOP S 全 球 运 维 大 会 2019上 海 站WeBank生产网架构构建思路CSWCSWCSWCSWAGGAGGAGGAGGLCLCLCLCTORTORTORTORTORTORTORTORLCLCDCN隔离带外联区DMZ管理区LCLCLCLCLCLCBDBD城域内网TORTORLBLBFWFWSRVSRVWCWCTORTORLBLBFWFWSRVSRVWCWCTORTORLBLBFWF

8、WSRVSRVWCWCTORTORLBLBFWFWSRVSRV城域外网DCN隔离带外联区DMZ管理区数据中心网络架构GOP S 全 球 运 维 大 会 2019上 海 站连接合作伙伴ARARARARARARWeBank DCICPECPE上海SDN-WAN运营商公有云平台SD-WAN公有云平台SD-WAN运营商传输网公众互联网EXPEXPLDLDLDARASLDARAS城市1EXPEXPLDLDLDARASLDARAS城市2CPECPE北京CPECPE成都运营商传输网IDC外联接入区运营商传输网IDC外联接入区FWFWFWDCI专线与SD-WAN运营商对接用户可以通过三种方式灵活接入WeBan

9、k网络，VPN/运营商专线/SD-WAN链路复杂多样的接入场景：1、不同业务场景对网络质量要求不一样，高频或低频2、接入条件限制，如何快速接入？3、实时性高、要求HAGOP S 全 球 运 维 大 会 2019上 海 站数据中心DCI连接公众用户-互联网出口流量切换多活系统的设计，需要考虑多个层次的组件实现负载分担与故障自愈，不仅仅是网络层，但网络是实现多活的第一道入口网络接入层负载均衡防火墙APP服务器DB网络接入层负载均衡防火墙APP服务器DB使用DNS切A记录，运营商缓存记录怎么办？负载均衡心跳同步如何解决，配置如何统一?防火墙心跳同步是否需要跨机房，策略如同步，防火墙路由模式部署还是透

10、明部署？GOP S 全 球 运 维 大 会 2019上 海 站连接公众用户-互联网出口流量切换EXPEXPEXPEXPEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCEXEXTORTORLBLBSRVSRVFWFWLCLCDC内网DC内网DC内网公众互联网CRCRCRCRBDBDBDBDBDBD主路由 备路由主路由备路由WeBankDCI网络AR异地DMZ接入专区关键点：不依赖于DNS更改A记录等方式实现流量切换，7*24实时金融业务要求入口流量快速切换，通过BGP路由优先级方式实现导流，在秒级范围内完成切换防火墙切换时，需关闭T

11、CP-syn包检查，仅做状态检测防火墙，流量平稳后，恢复TCP-SYN检测，不做跨机房配置同步，由运维平台自动化对比配置一致性检查LB发布VIP时，与交换机联动发布32位路由，打上community属性，可按单条路由进行精细化调度。LB间不做跨DC心跳同步，配置同步由自动化工具实现GOP S 全 球 运 维 大 会 2019上 海 站架构设计最重要的是什么?规划时需尽可能预想可能出现的运营风险 听取意见，多轮架构测试，输出轮证数据 考虑建设后的可扩展伸缩性 依据业务需求来综合设计，一定要满足业务诉求 稳定与灵活上做好平衡，没有100%完美的设计符合业务需求，按业务需求适配架构，可持续为业务提供

12、服务才最重要GOP S 全 球 运 维 大 会 2019上 海 站关于SDN架构 金融同业也在逐步设计云架构、行业云、公有云。归根结底还是业务需求驱动 生产上一定是最需要云化的场景，做SDN架构适配 混合云解决大部份弹性伸缩问题 大部份SDN架构考虑网络自动化运维，网络资源编排，资源调度等问题 转发面是否需软化，需要结合网络规模与业务硬性需求看，具体问题具体分析GOP S 全 球 运 维 大 会 2019上 海 站目录银行网络架构的模样1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP S 全 球 运 维 大 会 2019上 海 站网络故障几个场景

13、APP已经提示网络出问题程序已经抛出异常，socket超时，请网络同学排查一下应用耗时增加时与该曲线毛刺时间点匹配网络有网络有问题问题GOP S 全 球 运 维 大 会 2019上 海 站网络故障几个场景-2设备类告警A.协议DOWNB.防火墙HA切换C.端 UP/DOWND.VPN 隧道中断E.板卡异常F.主控异常G.电源、风险H.端口错包转发类、容量告警A.内外网质量异常B.数据包转发异常C.出口带宽告警GOP S 全 球 运 维 大 会 2019上 海 站故障处理流程01，网络自身是否有告警，转发层面是否现异常，网络质量是有异常确认网络异常，执行异常处理，无效，按应急预案执行0203异常

14、处置结束，总结异常原因网络平台异常?紧急故障情况下，应急预案内容是否为最新修订的，近期网络架构有调整，可否按此版本执行？原因无法明确时，有哪些数据可说明网络平台目前的状态？GOP S 全 球 运 维 大 会 2019上 海 站网络平台应对故障的解决思路可视化：SNMP采集流量常态化保存，基于streaming telemetry采集INT数据，获取完整DC内东西Flow分析网络质量，基于GRPC 秒级获取核心设备buffer队列信息、丢包统计。针对不支持INT的交换芯片，采用ERSPAN方式依据业务需求按需采集，实现自动化的丢包、异常突发流量检测分析。架构标准化：IDC建设、网络扩容时，低阶设

15、计交付物应系统化输出，如连接关系、IP分配、路由发布模板、安全基线配置运维智能化：需要主动分析现网网络运营数据做好容量管理、故障预测。紧急故障，一定避免手工执行故障处理，应急预案落实到SOP自动化中，故障场景预先配置好SOP执行脚本，系统自动下发架构标准化运维智能化 网络数据可回溯 网络建设应标准化、模块化，避免建设时留坑，防止后期运营风险 主动分析现网运营指标数据，预测容量变化，实时巡检稳健的网络平台可视化GOP S 全 球 运 维 大 会 2019上 海 站网络运营平台的支撑由运营需求，驱动功能模块的开发网络基础数据一定是网络团队人员最清楚最熟悉，统一收集数据存储供CMDB、运营工具、计费

16、平台使用GOP S 全 球 运 维 大 会 2019上 海 站SOP自动化思路网络异常告警命中SOP场景SOP自动化触发这里添加您需要的说明文字，添加标题文字添加标题文字1.网络异常告警收敛至指定微信群关注，有异常第一时间告警，告警信息附带对应SOP编号2.SOP号对应相应处理置流程3.执行SOP场景对应应急预案脚本，运维平台生成执行事件单，审批后立即执行GOP S 全 球 运 维 大 会 2019上 海 站目录银行网络运维的日常1WeBank生产网构建思路27*24银行服务下的网络运维3Netdevops的一些思考4GOP S 全 球 运 维 大 会 2019上 海 站NetDevops的一

17、些思考1、以稳定运营为目标两地三中心、单IDC机柜规模100，CLI依然可以解决一部份问题，网络运维者力不从心。需求真的很常见：我需要优化防火墙架构，10万条策略，需要迁移至新建防火墙上.我需要实时了解数据中心内LLDP关系，绘制实时网络扑拓.我需要了解每台网络设备接口互联IP，我需要对1000台交换机执行ACL策略修改.专线流量有突发，上面有10个业务，哪个接口、哪台服务器流量突增了?GOP S 全 球 运 维 大 会 2019上 海 站NetDevops的一些思考扎实的数通理论知识，丰富的工程实践经验、网络运营全生命周期流程管理熟悉Linux操作系统底层原理，常用文本处理命令，TCP/IP

18、协议深刻理解。熟悉pythongoshell语言，了解jsonYAMLyanxml等数据结构，结合日常自动化需求进行编程。熟悉SDN理念，了解云计算网络底层转发实现，熟悉开源控制器ODLONOS、自动化配置工具ansibelchef。了解DB、缓存，容器、中间件等常用互联网高可用设计方案NetDevops工程师NetDevops扎实专业领域技能+全面的软性技能紧跟行业趋势，结合业务场景，提升新技术能力，Segment Routing、IPv6、Streaming Telemetry.GOP S 全 球 运 维 大 会 2019上 海 站NetDevops的一些思考python或go编程语言监控、运维发布管理流量可视化数据分析