1、vivo互联网业务及研发现状vivo互联网DevOps最佳实践vivo互联网DevOps未来思考互联网业务及研发现状vivo互联网业务类型系统OSAPP服务vivo互联网业务生态商业模式用户平台中台能力应用游戏广告大数据算法丨AI云计算实验中台活动中台审核中台用户中台基础能力vivo互联网业务规模累计分发：1.4w亿日活用户：7056万日活用户：1082万月活用户：9818万日活用户：1429万月活用户：9410万项目规模5年3.4倍增长服务规模近5年翻6倍服务器规模5年增长1倍研发人员规模近5年翻2倍数据截至：2023.02vivo互联网研发流程业务运营需求设计开发阶段测试阶段上线发布监控运

2、维研发团队研发效能仪表盘（组织级、部门级、中心级、项目级、个人级）需求承接迭代规划项目立项需求设计需求评审编写代码修改配置修改DDL/DML编写测试案例各项评审架构设计开发设计制定测试计划功能测试执行性能测试执行安全测试执行测试报告BUG提交BUG修复可用制品发布申请发布执行监控运维需求已提交需求开发中需求测试中需求待发布需求已上线业务方点测点测结果环境服务准备需求文档低保真高保真需求归档架构文档开发文档vivo互联网研发技术-语言、架构Java62%Python4%NodeJS21%GO1%C/C+12%JavaPythonNodeJSGOC/C+开发语言分布CDNL4/L7网关DB存储存储

3、层服务层接入层Dubbo标准应用架构TarsbRPCRabbitMQ配置中心NginxApiSix国内CDN国外CDN分布式调度分布式数据库中间件数据库访问JDBC分布式数据库中间件名字服务接口管理缓存访问Jedis存储访问SDK等等vivo互联网基础设施变迁物理机Host OSapp1app2物理机Host OSKVMKVMapp1app2物理机阶段物虚混合阶段物理机app1app2app3app4物理机app5CMP混合云阶段云主机虚拟机2017第一次升级2019第二次升级vivo互联网DevOps交付挑战业务快速增长互联网业务快速增长，迭代速度日益加快，集群交付规模日趋扩大基础设施异构伴

4、随着业务类型的多样化，基础设施云机器资源日趋复杂，稳定性备受挑战技术栈多样化语言&框架多样化，驱使过程构建、部署过程越发复杂，定制化场景繁多备注：业务快速增长，业务对研发过程的规范化、标准化、自动化诉求越发强烈，如何更加有效规范化现有流程规范、更加标准化自动化辅助业务更快速交付成为必然。互联网DevOps实践演进vivo互联网DevOps手工时代编码构建测试打包发布配置监控没有流水线意识，本地打包、手工部署当前问题：l 本地完成编码、编译、打包等重复性工作l 手工直接操作测试、生产环境，风险较高l 基本无法实现持续构建、部署vivo互联网DevOps工具1.0时代编码构建测试打包发布配置监控基

5、于Jenkins初步形成流水线意识，主要提升开发、测试阶段交付效率当前问题：l Jenkins配置页面复杂，新人配置学习成本很高，且项目和人员增长，维护成本陡增l 线下与线上流程断开，上线过程繁琐l 生产上线基于saltstack脚本化部署，变更容易造成线上问题IDEGIT/GerritJUnitGradleMavenNexusTestNGLoadRunnerJenkinsJenkinsFTP/SSH虚拟主机云主机运维值守参数化ZKZabbixvivo互联网DevOps工具2.0时代编码构建测试打包发布配置监控基于Jenkins、Spinnaker自研CICD平台，实现线下、线上全流程打通当前

6、问题：l 工具数量增多，上下游数据流程化能力不足l 混合云及其他基础云资源增长，缺少云化管理能力IDEGIT/GerritJUnitGradleMavenNexusJMeterLoadRunnerJenkinsJenkinsFTP/SSH虚拟主机混合云主机CAAS参数化ZKZabbixCabraSonarQubeDocker Image自研CI平台自研CD平台配置中心GrafanaPrometheus监控系统调用链日志中心vivo互联网DevOps平台化时代到来全球化业务发展促进混合云海内外迅速发展，业务带来优劣与DevOps交付挑战如下：vivo互联网DevOps平台化诉求流程标准化流程自动

7、化平台自助化功能场景化过程可视化度量精准化操作平台化vivo互联网DevOps平台时代-产品架构代码管理构建管理制品管理部署管理日志监控自动化运维持续集成CI持续部署CD监控运维产品域平台能力支撑能力基础设施gitlabgerritsonar构建管理依赖安全扫描证书管理ArtifactoryJenkins服务管理发布管理回滚管理包管理环境管理告警中心监控中心故障管理作业平台Nginx变更管理域名变更管理预案管理中间件数据库缓存文件存储对象存储消息队列CMPOpenAPI套餐管理安全组管理公有云厂商管理计费管理自动编排网络管理磁盘管理CloudDriver 云资源抽象层物理机私有云共有云vivo

8、互联网DevOps核心流程持续部署CD开发环境测试环境压测环境预发环境生产环境线下包仓库线上包仓库配置中心日志中心监控中心运维中心云基础服务持续集成CI认领需求提交代码执行构建执行部署持续监控自助运维触发执行拉取代码推送制品拉取制品拉取制品制品晋级需求管理vivo互联网DevOps实践-Spinnaker简介n 关键优势支持多云部署自动发布内置部署最佳实践n 核心架构服务说明Deck-门户UI服务Gate-API网关服务Orca-编排引擎服务CloudDriver-云资源操作服务Front50-持久化数据服务Igor-作业触发服务Echo-消息通知服务Fiat-认证授权服务Kayenta-金丝

9、雀分析服务Keel-管理交付服务n 关于Spinnaker是Netfix公司开源的一款持续部署工具，采用java语言编写。vivo互联网DevOps实践-Spinnaker流水线优化startFind imageFrom TestDestroy old PRODDeployCanaryCutoverManualapprovalDeploy PROD(red/black)Tear DownCANARYWait 30minsWait 2hrs原生性能问题：内存消耗过大，100以上Stage内存占用超过80%以上Full GC频繁，CPU经常被打满原生使用方式优化后使用方式开始机器1机器2机器3暂停

10、机器5机器4等待10s机器6升级&改造spinnaker源码：升级Pipeline、Stage、Task查询接口增加Task重试机制扩展支持MySql存储引擎vivo互联网DevOps实践-全球化部署测试2机房测试1机房Artifactorygitlab生产机房阿里云-香港gerritArtifactory全球代理Proxy+CDN加速Redis某国1某国2某国3其他ArtifactoryArtifactoryArtifactoryArtifactory云主机虚拟主机混合云主机云主机混合云主机2G专线vivoops-civivoops-cdspinnaker-gatespinnaker-fro

11、nt50spinnaker-echospinnaker-orcavivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-uploadvivoops-cdvivoops-cdvivoops-cdvivoops-cd国内国外互联网DevOps未来思考vivo互联网DevOps未来面临的挑战追求更高ROI非业务应用部署聚焦业务本身云原生时代到来l更加聚焦业务产生的价值，更加专注人力投入的效益，如何提供统一有效的价值度量评估体系l非业务类应用也逐步转向规范标准化部署，规避脚本部署风险，减少运维人力成本l业务更加关注人力的投入，不愿

12、意花费过多的时间关注云基础设施，希望易用、智能l微服务、容器化大量业务应用推进，如何无缝、快速推进迁移聚焦价值、成本vivo互联网DevOps未来思考01识别效能、聚焦价值l 成熟、完善研发效能度量和评估体系l 精准化研发效能识别和改进平台02易用、智能、全场景l 面向用户DevOps平台几乎“0”学习成本l 交付流程规范化、自动化，并且能够具备一定智能化l 研发运维场景不仅限于业务应用本身，覆盖所有类型研发交付场景03基础设施无感l 贴合业务特性的智能化容量管理l 全面智能化监控和运维体系，故障自动识别与自愈vivo互联网DevOps未来思考统一研发运维流程规范统一研发运维平台统一研发运维数据模型提升自动化水平，提升研发运维效能研发团队持续研发效能度量与改进持续改进研发运维过程，整体提升研发运维团队智能化研发过程决策持续优化研发运维智能化决策能力，主动学习人工项目管理经验，持续提升研发效能统一组织文化第一阶段（效能起步期）第二阶段（效能度量期）第三阶段（效能成熟期）第四阶段（效能智能期）Thanks开放运维联盟高效运维社区DevOps 时代荣誉出品