1、GOPS 全球运维大会2019上海站GOPS 全球运维大会2019上海站基于容器的DevOps在银行的实践3GOPS 全球运维大会2019上海站目录背景：提高软件交付效率1契机：微服务与容器云平台的上线2实践：DevOps on 容器云3分享：感悟4GOPS 全球运维大会2019上海站传统金融传统金融ITIT的巨石型应用架构、瀑布式开发模型面临业务高速发展的挑战：的巨石型应用架构、瀑布式开发模型面临业务高速发展的挑战：业务快速扩张：某银行已经发展约已经发展约2 2万家境内外机构和网点、超过万家境内外机构和网点、超过100+100+万台自助设备、万台自助设备、近近6 6亿客户；亿客户；业务向互联

2、网线上迁移：核心业务每天平均交易量近核心业务每天平均交易量近5 5亿笔、峰值接超亿笔、峰值接超6 6亿笔，交易率亿笔，交易率峰值超峰值超2 2万笔万笔/秒，日均交易量保持了秒，日均交易量保持了20%20%以上的年均增速。以上的年均增速。面临的挑战400+应用600+个项目7000+人年研发规模按月发布版本1周+环境准备GOPS 全球运维大会2019上海站“单纯的自动化”无法有效解决瓶颈：无法有效解决瓶颈：手工步骤无法根除，并在流程中步骤放大；手工步骤无法根除，并在流程中步骤放大；管理孤岛导致低效沟通、交付延时；管理孤岛导致低效沟通、交付延时；重量级中间件部署效率低；重量级中间件部署效率低；环境

3、到位率是流程中的重要障碍；环境到位率是流程中的重要障碍；传统流程中的瓶颈编码部署研发环境部署测试中心交付投产交接适应性测试自动化/人工测试代码检查部署生产环境需求持续集成自动化少量自动化，大量人工GOPS 全球运维大会2019上海站目录背景：提高软件交付效率1契机：微服务与容器云平台的上线2实践：DevOps on 容器云3分享：感悟4GOPS 全球运维大会2019上海站构建某银行的微服务体系，打破了传统巨石应用的构建某银行的微服务体系，打破了传统巨石应用的架构设计，也推进某银行服务中台的建设。架构设计，也推进某银行服务中台的建设。以服务为粒度标准化运维的维度；以服务为粒度标准化运维的维度；通

4、过服务快速组合实现业务创新；通过服务快速组合实现业务创新；系统的解耦带来团队的解耦。系统的解耦带来团队的解耦。研发流程解耦，实现并行开发。研发流程解耦，实现并行开发。微服务架构转型服务网关服务注册发现链路跟踪Metrics监控日志监控容错限流配置中心Microservices服务框架GOPS 全球运维大会2019上海站覆盖某银行的覆盖某银行的100100+个关键应用，个关键应用，50%应用服务化，服务规模超应用服务化，服务规模超10000+个，服务化节个，服务化节点超过点超过1000010000个，同业规模最大：个，同业规模最大：支撑支撑主机业务全面下移：将相对独立产品、高并发、大流量产品从主

5、机减负和弹性扩将相对独立产品、高并发、大流量产品从主机减负和弹性扩展出发，在热点账户、客户、支付、网银互联等领域实施主机下平台，主机资源压力展出发，在热点账户、客户、支付、网银互联等领域实施主机下平台，主机资源压力有明显缓解，在微服务的支撑下，主机资源不再扩大。有明显缓解，在微服务的支撑下，主机资源不再扩大。基于微服务，打造开放、融合的账户基于微服务，打造开放、融合的账户金融生态体系：提升获客、活客能力，已实现某提升获客、活客能力，已实现某银行银行9 9亿账户全面下移平台。亿账户全面下移平台。已逐步形成已逐步形成分布式服务共享体系：覆盖个人、对公、资管、互联网等领域服务复用，覆盖个人、对公、资

6、管、互联网等领域服务复用，通过服务快速组合，提升业务创新速度。通过服务快速组合，提升业务创新速度。微服务建设成效GOPS 全球运维大会2019上海站以开源技术为基础，自主研发建设企业级应用以开源技术为基础，自主研发建设企业级应用平台云：平台云：在开源容器引擎在开源容器引擎Docker的基础上，定制、扩的基础上，定制、扩展了开源容器集群管理系统展了开源容器集群管理系统Kubernetes以满以满足我行需要；足我行需要；自主研发实现了自主研发实现了资源调度、负载均衡、弹性伸缩、集群管理、日志和监控等能力，建设企等能力，建设企业级容器云平台；业级容器云平台；容器云平台建设监监控控报报警警容容器器运运

7、行行资资源源池池PAAS管管理理虚虚拟拟机机OpenStack物物理理机机OpenStack网网络络VxLan/SR-IOV存存储储SAN/CephDockerKubernetes统统一一日日志志日日志志采采集集Fluentd/Filebeat日日志志索索引引存存储储ElasticSearch日日志志持持久久存存储储HDFS日日志志报报警警ElastAlert日日志志分分流流Kafka监监控控服服务务集集群群监监控控采采集集 KubeState节节点点监监控控采采集集 NodeExporter中中间间件件监监控控采采集集 JmxExporter监监控控数数据据存存储储TSDB监监控控数数据据采

8、采集集Retrieval监监控控报报警警AlertManagerPaaS-Portal集集群群管管理理J2EE数数据据存存储储Oracle远远程程管管理理WebSSH制制品品仓仓库库镜镜像像仓仓库库Harbor构构建建包包仓仓库库J2EE交交付付流流水水线线代代码码托托管管Git持持续续集集成成JenkinsGOPS 全球运维大会2019上海站覆盖覆盖某银行的100+个关键应用，容器规模超个关键应用，容器规模超16000个，支撑了个，支撑了90%以上的微服务调用，以上的微服务调用，同业规模最大：同业规模最大：核心业务系统云化部署。个人部署。个人II/IIIII/III类结算账户、纪念币预约、第

9、三方快捷支付等场景类结算账户、纪念币预约、第三方快捷支付等场景大规模生产实践，容器化部署同业最早；大规模生产实践，容器化部署同业最早；支撑支撑互联网金融高并发场景。云平台业务高峰扩容可达秒级，支持。云平台业务高峰扩容可达秒级，支持2 2万以上峰值万以上峰值TPSTPS，支撑了某银行支撑了某银行20162016年以来的纪念币预约、“双年以来的纪念币预约、“双11 11”大促、春节红包等互联网业务高峰；”大促、春节红包等互联网业务高峰；基础设施资源利用效率提升基础设施资源利用效率提升2-3倍，资源供应效率供应时间由，资源供应效率供应时间由2 2-3 3周周缩短至缩短至分钟级；容器云建设成效GOPS

10、 全球运维大会2019上海站镜像交付构建标准化；构建标准化；交付标准化；交付标准化；容器部署资源池化；资源池化；部署迅速；部署迅速；快速回退；快速回退；环境一致性；环境一致性；容器云为DevOps落地带来可能性build once,run anywhereGOPS 全球运维大会2019上海站目录背景：提高软件交付效率1契机：微服务与容器云平台的上线2实践：DevOps on 容器云3分享：感悟4GOPS 全球运维大会2019上海站基于云平台的灵活和自动化的运维流程，建立了某银行特色的基于云平台的灵活和自动化的运维流程，建立了某银行特色的DevOpsDevOps流程，提供面向流程，提供面向开发、

11、测试、生产不同阶段的全流程快速交付能力。开发、测试、生产不同阶段的全流程快速交付能力。一、基于容器云的DevOps流水线建设开发构建交付部署l TxxS测试即服务l 测试环境的快速供给l 基于容器的自动化压测l 基础设施即代码l 构建过程云化l 企业制品仓库l 全流程一站式流转l 一体化投产l 滚动升级l 智能验证GOPS 全球运维大会2019上海站定义标准化的交付格式“定义标准化的交付格式“构建包”，将应用的交付、部署的所需的各种要素组织起来。同”，将应用的交付、部署的所需的各种要素组织起来。同时推行交付格式的文本化，统一由开发人员通过时推行交付格式的文本化，统一由开发人员通过GitGit进

12、行变更的管理。进行变更的管理。提供实现测试、生产环境的快速自动化部署能力；提供实现测试、生产环境的快速自动化部署能力；保证各个环节的环境一致性；保证各个环节的环境一致性；促进应用版本的去文档化；促进应用版本的去文档化；1.基础设施即代码PaaS构建包操作系统应用节点关系中间件高可用策略性能容量策略滚动升级策略存储使用策略负载均衡策略可用性监控策略应用程序事件监控策略性能监控策略健康检查策略应用运行参数伸缩策略操作系统内核灰度发布策略防火墙策略设备清单用户策略目录策略回退策略GOPS 全球运维大会2019上海站应用编译应用编译构建过程容器化，统一构建镜像，提升构建效率，缩短构建时间；，统一构建镜

13、像，提升构建效率，缩短构建时间；建设建设公共构建环境，提供可快速扩展的公共编译构建环境，提升构建集群的资源利用，提供可快速扩展的公共编译构建环境，提升构建集群的资源利用率；率；2.构建过程云化BeforeAfter沟通成本3-5天0构建环境搭建0.5-1天0构建脚本维护0.5-1天1小时服务器资源50台3台构建时间5-30分钟10分钟GOPS 全球运维大会2019上海站构建测试服务体系，以技术测试为宗旨，以测试服务为依托，以自有品牌测试工具为构建测试服务体系，以技术测试为宗旨，以测试服务为依托，以自有品牌测试工具为载体，以测试云门户为窗口建立测试服务体系，为测试计划、测试设计、测试开发、载体，

14、以测试云门户为窗口建立测试服务体系，为测试计划、测试设计、测试开发、测试执行、测试评估提供支撑测试执行、测试评估提供支撑3.TxxS测试即服务测试服务能力测试服务体系自有品牌工具测试服务云TxxS平台测试云门户测试计划测试设计测试开发测试执行测试评估测试活动测试管理自动化测试WatchmanNIT性能测试FlipSniperTCXX测试辅助明镜安全测试APISecTEMGOPS 全球运维大会2019上海站结合结合IAASIAAS云，容器云的基础设施供应能力，提云，容器云的基础设施供应能力，提供测试环境的快速供给：供测试环境的快速供给：测试环境一键生成；测试环境一键生成；与构建过程联动，应用构建

15、后自动滚动更新测与构建过程联动，应用构建后自动滚动更新测试环境；试环境；测试环境可用性检查，当环境异常时可自动快测试环境可用性检查，当环境异常时可自动快速修复；速修复；通过容器云的资源隔离，应用多版本在资源池并通过容器云的资源隔离，应用多版本在资源池并行运行。行运行。4.测试环境的快速供给GOPS 全球运维大会2019上海站基于容器云的快速部署能力，结合分布式测试工具，构建自动化性能测试平台；基于容器云的快速部署能力，结合分布式测试工具，构建自动化性能测试平台；按需提供压力，实现超大并发测试、波动型压力测试；按需提供压力，实现超大并发测试、波动型压力测试；监控测试过程中的应用容器与宿主机状态，

16、获取、分析、展示测试结果；监控测试过程中的应用容器与宿主机状态，获取、分析、展示测试结果；5.基于容器云的自动化压测宿主机准备测试容器准备并发量压力曲线选择执行时间性能测试测试数据测试脚本KubernetesControllerResource Pool分布式测试执行分布式分层监控测试结果Analysis ReportGOPS 全球运维大会2019上海站建设开发、测试、生产三中心的制品仓库，面向建设开发、测试、生产三中心的制品仓库，面向软件生命周期三个阶段提供镜像、构建包、策略软件生命周期三个阶段提供镜像、构建包、策略参数的统一存储能力；参数的统一存储能力；制品仓库间自动交付流水线，异步镜像推

17、送，构制品仓库间自动交付流水线，异步镜像推送，构建包策略参数的同步，提升版本交付效率；建包策略参数的同步，提升版本交付效率；建立交付流程可监控、高可用机制，实现交付流建立交付流程可监控、高可用机制，实现交付流程失败重试、异常提醒，提升可用性。程失败重试、异常提醒，提升可用性。6.企业制品仓库及一站式流转PaaS制制品品仓仓库库PaaS制制品品仓仓库库PaaS制制品品仓仓库库推推送送推推送送开开发发中中心心测测试试中中心心生生产产中中心心推推送送全流程交付PaaS云管理平台镜像管理模板编排运行管理参数管理运行监控SLB管理GOPS 全球运维大会2019上海站云平台对“构建包”的在线解析和云上部署

18、；云平台对“构建包”的在线解析和云上部署；云平台对接企业传统投产管理系统，可以与云平台对接企业传统投产管理系统，可以与应用传统节点统一编排的投产流程。应用传统节点统一编排的投产流程。与交付系统的联动，实现了“构建包”全流程与交付系统的联动，实现了“构建包”全流程线上交付。应用的云上节点版本交付只需要线上交付。应用的云上节点版本交付只需要在系统中流转元数据，无版本实体；在系统中流转元数据，无版本实体；7.一体化投产GOPS 全球运维大会2019上海站建设智能投产验证平台。支持数据库、日志建设智能投产验证平台。支持数据库、日志内容、文件、内容、文件、httphttp接口、接口、dsfdsf服务、参

19、数配置服务、参数配置等等7 7大类型自动化验证，提供移动端、桌面大类型自动化验证，提供移动端、桌面端验证结果实时反馈的能力。端验证结果实时反馈的能力。单验证点平均执行时间单验证点平均执行时间1 1-2 2秒，提升应用投产秒，提升应用投产验证期间自动化水平，提高投产验证效率，验证期间自动化水平，提高投产验证效率，减少手工操作风险。减少手工操作风险。纵向扩展智能投产验证平台能力，联动滚动纵向扩展智能投产验证平台能力，联动滚动升级，实现应用分阶段灰度发布能力建设。升级，实现应用分阶段灰度发布能力建设。8.自动化投产验证灰度发布单点更新验证失败版本回退停止更新消息通知更新20%自动验证更新60%自动验

20、证投产完毕消息通知PaaS云管理平台智能投产验证日志内容扫描接口扫描数据库脚本验证文件验证UI自动化验证压力测试多层级参数体系系统级应用级模板群组级模板级自动验证投产验证管理平台投产流程编排引擎投产验证工具DB验证点数据库验证日志验证接口验证文件验证服务验证oraclemysql日志中心服务器服务器服务器DSF应用服务器应用服务器应用服务器验证点维护结果确认验证报告任务管理服务器信息维护Email.JenkinsMasterNodeNodeAnsiblescriptShellGOPS 全球运维大会2019上海站收益特性传统模式云上DevOps模式使用案例环境供应数日秒级100台服务器，传统模式

21、1周准备，云上1分钟调度完成环境一致性不支持，增量投产基于Docker镜像的全量投产减少因环境不一致造成的生产问题编译构建云同一应用N人日开发，N个编译环境，随应用数线性增长公共编译Docker镜像，公共编译环境，效率提高N倍构建脚本编写0.5小时，构建时间10min交付流水线通过VAXX+SPXX手工上传，镜像体积大，效率低三中心镜像仓库，秒级镜像推送DevOps前交付半小时，DevOps后秒级推送一体化投产云上云下两平台分开投产云上云下一体化投产以具体应用为例，投产在10分钟内完成滚动升级增量发版，难以滚动升级及回退支持基于步长、升级配比进行版本滚动升级，升级间不停服务版本投产交易平稳GO

22、PS 全球运维大会2019上海站基于容器云构建云上应用的日志中心、全息监控、在线诊断、基于容器云构建云上应用的日志中心、全息监控、在线诊断、A AI IOpsOps、混沌工程，帮助、混沌工程，帮助开发人员更便捷掌握应用节点运行状态与问题分析开发人员更便捷掌握应用节点运行状态与问题分析二、面向开发可持续的监控、运维生态开发构建交付部署l 日志中心l 全息监控l 在线诊断l AIOpsl 混沌工程l 测试环境的快速供给l 基于容器云的自动化压测l 基础设施即代码l 构建过程云化l 企业制品仓库l 全流程一站式流转l 一体化投产l 滚动升级l 智能验证GOPS 全球运维大会2019上海站云上应用自动

23、编排日志采集容器，收集应用的日志云上应用自动编排日志采集容器，收集应用的日志文件统一输出到日志存储，并对敏感数据根据规则文件统一输出到日志存储，并对敏感数据根据规则自动脱敏；自动脱敏；日志存储区分短期日志与长期日志：日志存储区分短期日志与长期日志：短期日志通过实时规则计算，生成统计信息及报短期日志通过实时规则计算，生成统计信息及报警信息；警信息；长期日志面向开发提供搜索下载；长期日志面向开发提供搜索下载；1.日志中心APP服务器1应用进程1App-1.logMidware.logAPPAPPElasticSearch Cluster分布式日志搜索集群PaaS AdminAdmin日志管理诊断平

24、台APPAPPHDFS Cluster分布式日志存储集群日志联机下载日志联机查询、诊断应用进程2App-2.logApp-3.log应用进程3Sys.logfilterAPP服务器1应用进程1App-1.logMidware.log应用进程2App-2.logApp-3.log应用进程3Sys.logfilter消息中间件TCPTCPHTTPHTTPGOPS 全球运维大会2019上海站采用埋点方式实现端到端的交易链路信息跟踪。覆盖行内常用技术栈，实现采用埋点方式实现端到端的交易链路信息跟踪。覆盖行内常用技术栈，实现跨应用、跨应用、跨平台的跨平台的业务交易全链路信息跟踪与采集。业务交易全链路信息

25、跟踪与采集。通过优化链路跟踪逻辑、完善异常处理、动态调整采样率，容器化链路收集节点等手通过优化链路跟踪逻辑、完善异常处理、动态调整采样率，容器化链路收集节点等手段，适应大规模推广带来的性能容量需求。段，适应大规模推广带来的性能容量需求。2.全息监控日志中心Promethus采集节点全息监控平台门户监控中心全息监控平台DatabaseTRACEHTTP收集KAFKAMQ-KafkaWEBTrace js构件应用节点trace构件DSF服务trace构件数据库连接池trace构件DSR构件trace构件API链路日志系统指标服务监控Storage应用节点诊断构件在线诊断诊断网关节点GOPS 全球运

26、维大会2019上海站链路动态加入监控环节：对可疑函数通过平台下发策略，动态增加采集策略，增加指链路动态加入监控环节：对可疑函数通过平台下发策略，动态增加采集策略，增加指标及链路采集，结合监控能力，实时获取数据分析。标及链路采集，结合监控能力，实时获取数据分析。JVMJVM在线实时诊断平台：提供云上云下在线实时诊断能力，实现在线的异常线程监控、在线实时诊断平台：提供云上云下在线实时诊断能力，实现在线的异常线程监控、异常堆栈监控、异常堆栈监控、GCGC信息查询、类加载分析、调用函数跟踪等精细化分析手段，精准信息查询、类加载分析、调用函数跟踪等精细化分析手段，精准定位故障源。定位故障源。3.在线诊断

27、全息监控平台应用服务器全全息息监监控控 JarA程序B程序C程序策略监控能力GOPS 全球运维大会2019上海站基于基于IaaSIaaS、容器云、日志中心、容器云、日志中心、PrometheusPrometheus监控体系的海量运维数据采集能力，对接监控体系的海量运维数据采集能力，对接大数据及机器学习平台，建设各运维场景下的运维数据模型库，提供数据离线及在线大数据及机器学习平台，建设各运维场景下的运维数据模型库，提供数据离线及在线训练，实现实时数据及批量数据挖掘分析核心引擎。训练，实现实时数据及批量数据挖掘分析核心引擎。特征提取：日志、监控数据特征提取：日志、监控数据元数据：基础平台元数据：基

28、础平台模型训练：模型训练：机器学习：机器学习：scikitscikit-learnlearn深度学习：深度学习：TensorFlowTensorFlow4.AIOps监控节点（Promethus Server）批量计算/清洗（Spark Core）训练模型（scikit-learn/TensorFlow）.监控数据特征标签库（HDFS）元数据提取(Java)PaaSCMDBDSF离线学习模型输出/更新K8S集群服务监控.IT资源池监控节点（Promethus Server）.系统监控数据归集日志采集（Fluentd）消息队列（Kafka）持久存储（HDFS）日志检索（ES）元数据提取(Java

29、)在线计算模型输出/更新流式计算（Spark Streaming）时序结果归集（ES/Druid）可视化监控预警GOPS 全球运维大会2019上海站基于孤立森林模型动态发现交易波动，并根据交易波基于孤立森林模型动态发现交易波动，并根据交易波动情况识别可疑交易并对接报警平台，提升应用对异动情况识别可疑交易并对接报警平台，提升应用对异常交易波动的敏感度，提升故障分析效率。常交易波动的敏感度，提升故障分析效率。交易波动报警：交易波动报警：数据源：当前时刻、前一天当前时刻、上周同一数据源：当前时刻、前一天当前时刻、上周同一天当前时刻数据作为输入天当前时刻数据作为输入数据模型：孤立森林模型，模型异常比数

30、据模型：孤立森林模型，模型异常比10%10%报警根因分析：报警根因分析：数据源：报警时间点前后半分钟内的所有交易数据源：报警时间点前后半分钟内的所有交易数据模型：报警类型、响应时间、错误码输入孤数据模型：报警类型、响应时间、错误码输入孤立森林模型，提取最孤立的立森林模型，提取最孤立的N N条交易分析条交易分析4.1 AIOps之交易报警分析交易波动报警GOPS 全球运维大会2019上海站通过智能日志模式诊断，自动识别应用海量日志中不符合一般规通过智能日志模式诊断，自动识别应用海量日志中不符合一般规律的异常交易，协助应用快速分析问题。律的异常交易，协助应用快速分析问题。数据预处理：非结构化的交易

31、日志转换结构化数据数据预处理：非结构化的交易日志转换结构化数据交易模式挖掘：交易模式挖掘：DBSCANDBSCAN聚类算法模型，聚类算法模型，xgboostxgboost分类分类异常交易识别：基于日志特征工程及挖掘得到的交易模式，识异常交易识别：基于日志特征工程及挖掘得到的交易模式，识别未知异常交易、罕见可疑交易、已知异常交易、正常交易并别未知异常交易、罕见可疑交易、已知异常交易、正常交易并入库。入库。4.2 AIOps之日志模式诊断日志模式诊断GOPS 全球运维大会2019上海站引入开源混沌工程框架，根据某银行技术引入开源混沌工程框架，根据某银行技术架构需求进行二次开发，为架构需求进行二次开

32、发，为osos、javajava、dockerdocker、k8sk8s等领域的混沌实验场景提供一等领域的混沌实验场景提供一站式配置、执行、销毁的能力；站式配置、执行、销毁的能力；建设故障演练平台，提供面向开发人员、建设故障演练平台，提供面向开发人员、测试人员、运维人员以及系统、网络专业测试人员、运维人员以及系统、网络专业人员故障演练配置管理、演练过程服务器人员故障演练配置管理、演练过程服务器/应用性能实时查询、演练结果分析报告生应用性能实时查询、演练结果分析报告生成的能力；成的能力；5.混沌工程GOPS 全球运维大会2019上海站基于容器系统资源监控、日志采集等大数据，建立通用、可定制、可扩

33、展的业务分析基于容器系统资源监控、日志采集等大数据，建立通用、可定制、可扩展的业务分析模型平台模型平台建立移动端云运维渠道，全方位展示应用运行交易情况、资源使用情况、报警情况以建立移动端云运维渠道，全方位展示应用运行交易情况、资源使用情况、报警情况以及交易拓扑图，大大提升运维信息获取的便捷性及交易拓扑图，大大提升运维信息获取的便捷性6.1 面向开发的多渠道反馈GOPS 全球运维大会2019上海站基于微服务框架服务监控告警能力，打造基于微服务框架服务监控告警能力，打造“某行磐石某行磐石”移动端，提供面向应用的、服务移动端，提供面向应用的、服务群组、服务多层次的热点服务、响应时间、服务依赖度等全面

34、调用视图。群组、服务多层次的热点服务、响应时间、服务依赖度等全面调用视图。实时展示服务调用耗时过长、服务调用失败、服务线程池满等多种维度的异常报警，实时展示服务调用耗时过长、服务调用失败、服务线程池满等多种维度的异常报警，有效揭示生产运行问题。有效揭示生产运行问题。6.2 面向开发的多渠道反馈GOPS 全球运维大会2019上海站基于日志中心、全息监控的监控运维能力，对接生产大屏，直观展示某银行两地三中基于日志中心、全息监控的监控运维能力，对接生产大屏，直观展示某银行两地三中心系统整体运行情况及核心应用运行拓扑，交易运行情况，系统报警详情，实时揭示心系统整体运行情况及核心应用运行拓扑，交易运行情

35、况，系统报警详情，实时揭示生产运行风险生产运行风险监控数据精准，性能高效，以某应用为例，监控数据精准，性能高效，以某应用为例，2W tps2W tps交易率时延不超过交易率时延不超过10s10s6.3 面向开发的多渠道反馈GOPS 全球运维大会2019上海站以项目为维度，实现项目概述、项目仪表盘等功能，整合项目管理、需求管理、计划以项目为维度，实现项目概述、项目仪表盘等功能，整合项目管理、需求管理、计划和任务管理、缺陷管理、用例管理、文档和知识管理、项目协同等视图，支持需求实和任务管理、缺陷管理、用例管理、文档和知识管理、项目协同等视图，支持需求实例化、精益看板实践等多种敏捷实践。例化、精益看

36、板实践等多种敏捷实践。以应用为维度，实现应用概述、应用仪表盘等功能，查看需求进度、分支模式、需求以应用为维度，实现应用概述、应用仪表盘等功能，查看需求进度、分支模式、需求进度视图、流水线、进度视图、流水线、DODDOD配置、测试调度、环境信息、应用度量等视图。配置、测试调度、环境信息、应用度量等视图。三、组织、项目及研发管理GOPS 全球运维大会2019上海站目录背景：提高软件交付效率1契机：微服务与容器云平台的上线2实践：DevOps on 容器云3分享：感悟4GOPS 全球运维大会2019上海站基于容器云的基于容器云的DevOpsDevOps流水线流水线减少手工步骤减少手工步骤加快环境供应

37、速度加快环境供应速度重量级中间件部署效率提升重量级中间件部署效率提升面向开发可持续的监控、运维生态面向开发可持续的监控、运维生态运维快速向开发反馈运维快速向开发反馈开发快速响应运维开发快速响应运维组织、项目及研发管理组织、项目及研发管理打破信息孤岛打破信息孤岛1.工具链赋能开发全流程覆盖DevOpsDevOps“是一组过程、方法与系统的统称，“是一组过程、方法与系统的统称，用于促进开发（应用程序用于促进开发（应用程序/软件工程）、技软件工程）、技术运营和质量保障（术运营和质量保障（QAQA）部门之间的沟通、）部门之间的沟通、协作与整合。协作与整合。维基百科维基百科GOPS 全球运维大会2019

38、上海站优势优势大大减少了因程序环境问题引发的生产问题大大减少了因程序环境问题引发的生产问题基础镜像由平台发布，平台全面掌握基础环境基线配置，增强可控性基础镜像由平台发布，平台全面掌握基础环境基线配置，增强可控性交付全流程统一，所有环境随时可运行交付全流程统一，所有环境随时可运行问题问题交付系统的压力交付系统的压力测试的信任测试的信任2.应用全量交付模式，随时随处可运行GOPS 全球运维大会2019上海站优雅停机需要应用、框架、云平台、运维操作协同优雅停机需要应用、框架、云平台、运维操作协同容器级优雅停机：容器级优雅停机：kill kill-15+15+（等待时间）（等待时间）+kill+kil

39、l-9 9分布式服务优雅停机：从注册中心下线分布式服务优雅停机：从注册中心下线+处理在途交易处理在途交易+（等待时间）（等待时间）+强制结束强制结束滚动升级保证业务连续滚动升级保证业务连续合理控制步长、超容缩容比例；合理控制步长、超容缩容比例；与智能验证充分结合；与智能验证充分结合；3.发挥优雅停机、滚动更新优势GOPS 全球运维大会2019上海站AIOpsAIOps对运维规则的对运维规则的AIAI化，即将人工总结运维规则的过程转变化，即将人工总结运维规则的过程转变为自动学习的过程，是“有为自动学习的过程，是“有AIAI调度中枢管理的，质量、成本、效调度中枢管理的，质量、成本、效率三者兼顾的无

40、人值守运维，力争所运营系统的综合收益最大率三者兼顾的无人值守运维，力争所运营系统的综合收益最大化”；化”；后续规划报警信息压缩、基础设施监控预警、性能容量画像、后续规划报警信息压缩、基础设施监控预警、性能容量画像、容量规划和智能预算、智能弹性伸缩等场景；容量规划和智能预算、智能弹性伸缩等场景；4.AIOps是DevOps的高阶实现GOPS 全球运维大会2019上海站DevOpsDevOps实践过程中，开发团队、测试团队、运维团队之间壁垒被打破，彼此关系变的实践过程中，开发团队、测试团队、运维团队之间壁垒被打破，彼此关系变的更具协作性、更高效，更密切，相互界限不再明显更具协作性、更高效，更密切，相互界限不再明显开发团队：从只做开发转化为开发、测试、运维都需全面关注开发团队：从只做开发转化为开发、测试、运维都需全面关注测试团队：推动测试工具研发并赋能开发团队测试团队：推动测试工具研发并赋能开发团队运维团队：推动自运维能力并赋能开发团队运维团队：推动自运维能力并赋能开发团队5.DevOps本质是人职能的变换打破职能壁垒，实现持续、高效的交付价值GOPS 全球运维大会2019上海站Thanks高效运维社区开放运维联盟荣誉出品