1、G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站浙江移动容器云规模实践与核心应用微服务改造G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录背景与历程1浙江移动容器云规模实践2核心应用改造3总结与思考4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站处境和焦虑开发过程复杂，开发效率低下代码重复率高，部署发布困难大型IT系统设计十宗罪功能A方法a方法a功能B方法b方法b功能C方法c方法c问题：组合业务难复用单业务渠道间业务能力无法直接复用业务功能内部黑盒，对外不可见，维护困难

2、无法满足类似业务的快速交付扩展能力差，应对冲击能力弱问题：无法满足突发业务下的自动伸缩容单个业务服务扩容导致整体扩展、资源浪费局部环节问题致整体业务无法受理业务逻辑复杂，问题定位难CRM客户管理订单管理资源管理其他现有服务器扩容服务器负载均衡手工注册单系统工程代码700W+行编译时间30分钟故障恢复时间20分钟上线前手工提交物件超10+种改一行代码上线花5人天测试40%在等待(环境、数据)运维效率低，故障定位困难开发态：系统解耦不充分，内部烟囱林立垂直方式开发，缺乏协同共享代码编译成本高接口层标准化程度差，学习困难源代码膨胀，难管控运行态：流量突变快，系统无法弹性伸缩负载不均，性能成为瓶颈应用

3、的数据库连接占用高运维态：缺乏自动化监控和调度手段缺乏在线调控和跟踪工具G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站容器云演进历程2015年5月 浙江移动提出“云起浙里时，新一代云平台建设”总体建设规划及可行性技术论证2015年11月 浙江移动手机营业厅系统成功迁移至容器云平台，容器云平台顺利通过双11手机营业厅充值1折秒杀活动验证2015年12月 成功迁移CRM营业厅前端系统至容器云平台2016年6月 基于微服务框架的账户中心、开通中心成功上线2018年6月 完成容器云平台双平面功能建设2019年6月 扩充容器云平台异构能力，实现双引擎能力上线G O P S 全 球 运

4、 维 大 会 2 0 1 9 上 海 站目录背景与历程1浙江移动容器云规模实践2核心应用改造3总结与思考4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站容器云架构MarathonMesosZookeeperBambooHAProxyHAProxyHAProxyHAProxyBambooHAProxy弹性扩缩容调度模块监控管理模块持续集成平台容器云管理平台服务注册服务引流资源调度任务调度应用容器Docker 封装物理机 或 VMDashboard鉴权模块统一日志中心资源配置模块kube-schedulerkube-controller-managerkube-apiserve

5、retcdkubeletkube-proxyserviceingress-controlleringressG O P S 全 球 运 维 大 会 2 0 1 9 上 海 站容器云核心能力引入P2P文件下载技术，解决集中发布时产生的带宽洪流，提升发布效率为租户争取更多业务测试时间。容器云能力双引擎双平面自助管理有状态服务高效发布在一个调度引擎内同时包含若干个完整的可用区域，应用可在任一区域运行，提升应用高可用性。容器云平台同时纳管Mesos和K8S两种异构调度引擎，实现统一调度，应用可一键在两种引擎内切换。SDN网络拓展传统SDN，支撑容器网络，提供细粒度带宽控制、灵活的微分段、可视化流量监控

6、。有状态服务支撑是降本增效的有效手段。基于K8S生态，深化应用承载范畴，不断实践PaaS组件的容器化改造。秉承“工具换人”思想，为租户提供应用上云全流程自助管理能力G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站容器云双引擎同时支持Mesos和K8S保持Mesos灵活性，使能租户二次开发双引擎，高可用，助力多域异构PaaS建设兼顾K8S最新动向，支撑有状态应用，拓宽容器云承载范围存储网络计算日志管理监控管理告警管理用户管理鉴权管理角色管理Mesos集群MesosMarathonZookeeperKubernetes集群MasterEtcdKube proxyKubeletPo

7、d容器云管理平台弹性扩缩持续集成配置中心服务注册服务路由应用管理自研容器云双引擎管理平台新版容器云管理平台将融合支持Mesos+Kubernetes双调度引擎，继续提升容器网络、存储能力，以统一API形式提供一键式服务开通。向上为租户提供统一、透明的一站式运维、管理服务容器云平台对租户屏蔽底层架构差异，提供统一的持续集成/发布，自助式维护、管理和智能的自动弹性扩缩容服务。向下自适应适配异构接口，实现应用异构容灾和快速迁移能力容器云平台通过服务路由模块向下适配异构接口，可快速发布、迁移应用，为应用提供更高级别的可用性保障，同时更加平滑的实现核心组件升级和部署调整。G O P S 全 球 运 维

8、大 会 2 0 1 9 上 海 站双引擎应用切换能力快速引擎切换Kubernetes引擎是自带服务发现和复制的编排工具。在满足当前Docker应用编排的同时，可提供一个可容错和可扩展的系统。Mesos 是一种底层级、久经沙场的调度器，对于容器的编排，支持多种Frameworks，已兼容任务调度平台、计费中心等多种编排框架，更适合租户自定义的需求场景。在发生集群级故障时，容器云管理平台为租户提供Mesos和Kubernetes的双引擎切换能力，支持应用在双引擎中平滑迁移，具有更好的容灾能力。G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站双平面能力在双引擎架构基础之上，在每个引

9、擎内又具备双平面能力。双平面具有稳定性高、易维护、可扩展等特点。G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站一站式自助运维能力以“工具换人”的思路为指导，从人工服务模式转型为自助服务、智能服务模式，不断将个人经验固化为通用工具，实现应用全生命周期自助式管理，走好企业应用上云“最后一公里”。自助运维自助选择自助配置自助开通G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站高效发布能力优化措施 镜像库主备容灾部署，主备之间通过镜像同步保持数据一致性；P2P发布由Df-master和df-client构成，df-master从镜像库拉取镜像形成P2P种子，每个机

10、房配置两个df-master形成高可用；P2P分发只在本机房分发，避免跨机房流量；每个机房配置两个mirror，当P2P分发方式异常无法工作时计算节点会自动到mirror上下载镜像，mirror通过负载均衡实现高可用；开发运营分析模块，统计分析用户、项目、镜像相关数据，为镜像库管理、分时段预热镜像等提供支撑。规模增大后发布成为瓶颈，基于P2P分发技术打造高效发布能力。G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站支撑AI能力基础能力建设平台适配与AI应用纳管直接对接持续集成平台，具备AI应用代码打包-镜像发布能力支持Tensorflow等深度学习框架的容器化完成GPU虚拟化

11、测试，（1虚3，1虚4），满足现有AI应用资源使用需求支持vGPU“一拆多”满足AI在线推演场景和“多聚一”满足AI离线训练场景支持CPU/GPU统一调度，适配应用不同资源类型需求对接持续集成平台对接云管平台GPU虚拟化和统一调度集群建设完成云管前端资源申请流程设计与后端接口设计，待与云管进行测试联调支持AI应用复用平台监控告警、白屏运维能力统一的CPU/MEM/GPU资源分配、隔离与监控能力完成GPU虚拟化资源池双平面架构部署具备AI应用承载能力G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站容器SDN能力细粒度带宽控制可视化流量监控分布式防火墙可以基于每个Pod的端口进行

12、入向或出向端口的流量限速，以保证不同应用访问的服务质量，同时也可以每个POD端口的广播流量进行入口限速。另外也可以根据需要对每个POD端口进行DSCP或CoS值的设定。提供了内部容器的南北向、东西向流量可视化。直观的展现每个故障点，提升容器网络运维能力。为每个Pod的端口都可以配置分布式防火墙，实现基于POD的安全隔离。来源：G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站实践效果上线发布、环境管理20多人上线团队租户自助模式系统稳定性人工保障故障自愈资源利用率静态隔离动态共享成本高成本低成本部署效率资源利用率故障自愈等方面成效显著上线发布、环境管理20多人上线团队租户自助模

13、式系统稳定性人工保障故障自愈资源利用率静态隔离动态共享成本高成本低成本部署效率资源利用率故障自愈等方面成效显著G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录背景与历程1浙江移动容器云规模实践2核心应用改造3总结与思考4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站应用上云之路来源：互联网G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站目录背景与历程1浙江移动容器云规模实践2核心应用改造3总结与思考4G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站传统企业上云的四点总结应用云化是关键康威定律引变革三驾马车跑得快搞得定才叫技术一切云化过程，其真正的难点不在于平台云化，而在于应用的云化，即租户应用的改造。企业的应用上云，不仅是应用技术的升级，它会带来应用架构的改变，而这个改变会引发组织架构的变革。没有最好的技术，只有最搞得定的技术。搞定的技术才是自己的技术。容器云、微服务中间件、DevOps是企业上云过程中，并驾齐驱的三驾马车。G O P S 全 球 运 维 大 会 2 0 1 9 上 海 站Thanks高效运维社区开放运维联盟高效运维社区开放运维联盟荣誉出品