1、GOPS 全球运维大会2019上海站GOPS 全球运维大会2019上海站大型银行持续交付流水线建设之路GOPS 全球运维大会2019上海站目录3背景1迭代2路上3后记41.银行信息化&信息化银行 1996年软件开发中心，自研”CBX“，9991数据大集中 2003”NV“2008”NV+“2019？”期待“2.软件交付效能的提升？背景OCRINTELLIGENTGOPS 全球运维大会2019上海站目录背景1迭代2路上3后记4探索（迭代一）n手工打包，FTP至服务器手工部署GOPS 全球运维大会2019上海站团队级 纯手工操作，效率低，难以规范 需熟悉打包和部署全流程，门槛高团队级GOPS 全球

2、运维大会2019上海站团队级协作墙标准与规范提高效率质量保障团队自定标准，或无标准手工操作，效率低、易出错高度依赖人员技能，人工检查开发提供手册，手工操作为主GOPS 全球运维大会2019上海站探索（迭代二）n手工打包，FTP至服务器手工部署n开发构建与部署工具，完成应用构建、部署GOPS 全球运维大会2019上海站团队级工具化工具化三中心统一的构建和部署工具对构建和部署行为进行了一定的约束和标准化GOPS 全球运维大会2019上海站工具化协作墙标准与规范提高效率质量保障各环节基本还是孤立的有一定标准以人工检查为主基本靠手工操作GOPS 全球运维大会2019上海站探索（迭代三）n手工打包，FT

3、P至服务器手工部署n开发构建与部署工具，完成应用构建、部署njenkins1.X串联构建与部署，实现持续集成GOPS 全球运维大会2019上海站团队级工具化持续集成持续集成使用jenkins1.X串联构建与研发测试环境部署在持续集成中增加冒烟、打桩等质量检查GOPS 全球运维大会2019上海站持续集成协作墙标准与规范提高效率质量保障确定了持续集成规范开发中心内的墙基本打通了版本更新门槛降低了，研发测试环境更新可按需发起静态代码检查、冒烟测试等GOPS 全球运维大会2019上海站探索（迭代四）n手工打包，FTP至服务器手工部署n开发构建与部署工具，完成应用构建、部署njenkins1.X串联构建

4、与部署，实现持续集成n借助自研流水线平台，完成版本持续交付GOPS 全球运维大会2019上海站团队级工具化持续集成持续交付持续交付打造持续交付系统，串联版本过程各环节对标DevOps要求完成系统改造GOPS 全球运维大会2019上海站持续交付协作墙标准与规范提高效率质量保障交付的墙也打通了，逐步往生产延伸建立了交付的标准版本交付的成本降低了，可按需发起质量监控提前，增加了提交阶段构建检查等GOPS 全球运维大会2019上海站探索（迭代五）n优化持续交付工具，实现按需交付n手工打包，FTP至服务器手工部署n开发构建与部署工具，完成应用构建、部署njenkins1.X串联构建与部署，实现持续集成n

5、借助自研流水线平台完成版本持续交付GOPS 全球运维大会2019上海站团队级工具化持续集成持续交付DevOps目录背景1迭代2路上3后记4GOPS 全球运维大会2019上海站大发布单元的痛 应用功能解耦，发布却耦合 传统构建资源受限，等待太多构建分层的构建云 分模块、分层级的标准化构建 工具赋能，“构建云”在路上-构建GOPS 全球运维大会2019上海站我真是不会装 部署黑盒，运维无法掌控 部署过程复杂，杂乱无章版本自己装好就行 部署结构标准化 部署过程标准化在路上-部署GOPS 全球运维大会2019上海站在路上-构建与部署制品库应用源代码（构建模型）应用X版本库B版本库A组件项目1组件项目3

6、组件项目4组件项目5组件项目2DDL管理数据库实例6数据库实例7组件包1组件包3组件包4组件包5组件包2数据库安装6数据库安装71、结构化组件项目的特点（类别），从而明确：1）构建方法2）部署方法，部署方法应可重复执行，且无顺序依赖构建部署组件包，标识需要部署的节点类型。1、组件包可能被其他项目引用，也可能被部署到节点2、组件包不会被拆分部署在不同节点，3、一个组件包，可能部署在多个不同的节点4、一个节点可以部署多个组件包应用节点（部署模型）应用X子系统B子系统A节点类型1节点类型2节点类型3节点类型4子系统C节点类型5节点类型61、一个节点类型可对应多个实际节点，部署的组件包相同2、节点有明

7、确的技术栈说明，从而明确基础设施定义按照应用版本组织部署，部署时从制品库获取本节点涉及组件包，按照组件包自带的部署方法自动部署。部署组件项目3组件项目4组件项目5组件项目2数据库实例6数据库实例7GOPS 全球运维大会2019上海站等等，我先找找在哪 配置散落在四处 配置变更缺乏审计，回溯过程你要的都在这 配置集中分层管理 配置消费市场在路上-配置中心23负载均衡设备深度健康检查探活WEBAPP配置中心深度健康检查模块DB节点库可用性监控接口页面路径配置文件探活频度+监控配置数据源配置超时设置探活SQL+应用监控可用性监控隔离控制接口应急平台一键式应急个性化隔离扩展各应用实现的模块本方案实现的

8、模块图例：本方案涉及的配置F5信息+由F5/SLB产生心跳，隔离就会产生报警探活异常，就会自动隔离应用主动隔离或一键式应急隔离数据库探活应用探活通用配置个性隔离配置应用私有配置+熔断策略探活开关GOPS 全球运维大会2019上海站我要的环境在哪里 标准化 自动化随时可生成的环境 拥抱云、传统环境定义可描述代码化 基础设施即代码，快速提供在路上-环境管理镜像仓库标准软件仓库第三方软件仓库环境准备环境管理可执行的环境定义GOPS 全球运维大会2019上海站环境可用性-痛痛痛 角色：开发、测试、运维。类型：基础设施、程序、数据、依赖耦合。精细化冒烟机制 完整性：检测环境、版本可用性 精细化：细分问题

9、，有效指引解决 数据分析，系统治理在路上-环境可用性简称错误分类分类说明分类举例分析人员BASENV基础环境系统、网络相关问题IP、端口不可用环境维护人员BASSER基础服务应用服务相关问题整个URL不可用环境维护人员APPSER程序类应用程序导致的问题程序不可用，DDL不一致开发人员APPBUS案例类脚本本身、数据问题案例脚本或数据导致问题测试人员数据处理 推送结果 分析执行结果匹配处理人员判断时间阀值发送提醒邮件 Jenkins作业业务类冒烟案例技术类冒烟案例 Jenkins插件分析执行结果匹配处理人员实时发送提醒邮件GOPS 全球运维大会2019上海站用户的门槛 自动化测试没有专用环境、

10、数据 质量标准需作用于流水线执行为用户服务 度量指标自动收集 已建设提交审核流水线、交付门禁在路上-质量保证编码构建测试部署发布上线门禁门禁门禁门禁度量平台自动度量自动度量自动度量自动度量GOPS 全球运维大会2019上海站我要的流水线 灵活、分层 组件化，可复用 定制门槛低满足你的个性要求 标准化组件 分流程、步骤的可视化维护 灵活可编排在路上-版本交付流水线GOPS 全球运维大会2019上海站在路上-自助化，打破传统墙产品设计开发验证交付周期提出需求处理等待交付需求效率竖井 各个环节和部门看上去繁忙而高效，但总体的效率和响应能力却很低。团队墙无处不在 版本流程冗长 团队工作门槛高GOPS

11、全球运维大会2019上海站真正意义上的自助化 降低门槛，减少手工 开发团队驱动版本全流程运转谁开发谁运维 配置管理、测试、运维工具提升 各类运维服务自供应在路上-自助化，打破传统墙交付周期提出需求处理交付需求产品设计开发验证反馈反馈反馈GOPS 全球运维大会2019上海站在路上-持续高效交付有用的业务价值中心资产及管理支撑功能初步具备,持续提升研发设计中GITJENKINSSONARMAVENVAXXADXXTCXXJIRAPAXXSPXXCMDB研发资源自助分支自助创建分支同步管理分支规则管理标签自助创建与管理分支与需求项关系管理依赖管理制品分级管理质量门禁制品晋级策略变更一键回滚构建脚本结

12、构化构建过程组件化构建方式服务化构建自助化构建环境配置标准化构建资源动态分配构建问题精准推送持续集成自助化部署脚本结构化部署能力组件化可视化编排部署方式服务化投产流程一体化流水线可视化部署策略管理研发环境标准化环境搭建自服务环境和依赖配置管理XXX制品管理应用配置全视图流水线自助创建版本库及分支模块VAIM构建管理制品分级管理需求项驱动版本交付制品晋级策略XXX部署管理XXX环境管理开发中心测试中心生产中心提交构建流水线持续集成流水线版本交付流水线交付自助化交接自助化交接标准化投产自助化业研部署自动化紧急补丁流水线变更流水线服务化拆分组件化编排版本持续交付系统需求拆分生产运维数据自助获取日志自助获取应用监控预警系统监控预警任务管理需求管理资源统计分析项目管理反馈研发目录背景1迭代2路上3后记4GOPS 全球运维大会2019上海站1.消除浪费是硬道理 结构化、标准化 代码化 自助化2.高效交付业务价值 打造我们自己的高效平台我们一直在路上。后记GOPS 全球运维大会2019上海站Thanks高效运维社区开放运维联盟荣誉出品