1、华为云DevCloud的DevOps项目管理实践徐毅27-10-20192016年年9月月2016年年12月月DevCloud公测项目管理代码托管编译构建HUAWEI CONNECT 2016正式亮相发布项目管理项目管理代码托管代码托管DevCloud 1.0发布代码检查部署服务发布服务HUAWEI CONNECT 2017HUAWEI CONNECT 2017 DevCloudDevCloud 2.02.0发布发布启动2015年4月2015年7月2017年年9月月CloudIDE发布流水线服务发布2017年年1月月移动应测试发布移动应测试发布Wiki特性发布特性发布文档管理特性发布文档管理特

2、性发布团队规模：几个人团队规模：几个人 几十人几十人 几百人几百人2018年年2月月高校解决方案发布接口测试发布承办2018华为软件精英挑战赛2018年年10月月HUAWEI CONNECT 2018华为开源镜像站发布华为开源镜像站发布HiChat沟通协作特性发布沟通协作特性发布背景：华为云背景：华为云DevCloudDevCloud团队的规模化成长历程团队的规模化成长历程2019/10/31华为云DevCloud的DevOps项目管理实践2015年，第一次上线耗时数周，开发、测试、运维各自运作2016年，部署自动化，测试自动化，系统解耦，上线周期2周，上线耗费3-6小时2017年，引进流水线

3、，服务独立发布，每天5次发布，上线耗费30分钟-1小时2018年，微服务独立发布，每天10-20次发布，上线耗费纵向解耦的小系统演进各个微服务/特性，可由独立团队并行开发交付/构架演进架构解耦，最小可行产品是敏捷的保障架构解耦，最小可行产品是敏捷的保障WEB UIDB后端服务负载均衡WEB UI后端服务负载均衡单点登录table1table2缓存MQWEB UIDB订单API GATEWAY库存缓存购物车DBDBMQAPI GATEWAYDB订单详情页库存CACHE价格DBDBMQWEB UI下单DB老系统WEB UI后端服务负载均衡单点登录缓存MQDBDB尽量垂直划分服务；比较独立的新业务优

4、先采用微服务架构；优先抽象通用服务；优先抽象比较容易识别的，边界比较明显的服务；优先抽象核心服务；采用绞杀者模式。DB老系统系统拆分为颗粒度合适的可系统拆分为颗粒度合适的可DevOpsDevOps的单元，是架构支持的单元，是架构支持DevOpsDevOps的基础的基础2019/10/31华为云DevCloud的DevOps项目管理实践一站式微服务管理平台设计和开发构建测试发布上线监控运维部署快速反馈持续交付（DevOps）服务注册负载均衡限流降级分布式事务灰度发布调用链跟踪服务发现微服务治理JavaGoJSPhpPython.Net容器服务弹性伸缩开发环境测试环境预发布环境生产环境资源调度镜像

5、管理容器编排安全服务分布式数据库应用性能管理应用运维管理分布式日志服务分布式缓存服务云服务/中间件分布式配置服务分布式消息服务分布式任务调度Metric服务通信12 Factors1.基准代码2.依赖3.配置4.后端服务5.构建、发布、运行6.进程7.端口绑定9.快速启动、优雅终止10.环境等价11.日志8.并发12.管理进程2123全面支持云原生应用全面支持云原生应用1212设计原则的一站式微服务管理平台设计原则的一站式微服务管理平台2019/10/31华为云DevCloud的DevOps项目管理实践计划开发集成测试部署供应商业计划需求监控产品经理技术经理开发工程师产品

6、运营产品经理技术经理开发工程师产品运营产品经理技术经理开发工程师产品运营产品经理技术经理开发工程师产品运营服务1服务2服务3服务N业务部门（Business）研发部门（Dev）商业计划需求用例特性计划Go-to-market设计开发重构单元测试Bug修复部署供应配置编排部署报告监控运营部门（Ops）市场运营/需求管理/项目管理/.经理/研发工程师/测试工程师.平台运维/基础架构运维团队流程组织：服务/微服务全功能团队，产品经理负责制流程：全流程整合，高度自动化，一键发布转型前转型后转型在敏捷转型基础上，进一步横向整合从业务-研发-运营的团队和全流程。DevOps转型Agile Dev转型市场及

7、销售商业开发客户支持对特性/部件/服务，完整的实施规划/需求/设计/开发/测试并独立部署、交付、运维（DevOps场景）的项目型团队。面向云服务面向云服务/微服务的架构，向敏捷微服务的架构，向敏捷/DevOps/DevOps全功能团队转型全功能团队转型2019/10/31华为云DevCloud的DevOps项目管理实践规划设计创新研发洞察竞分运维监控运营维护客户反馈集中决策集中决策项目经理PLTLSDESDESDETETETESEAM1.项目经理对结果负责，向上汇报；项目经理基于商业判断垂直决策。Core Team微服务团队1微服务团队2微服务团队3项目经理/POAM团队/SEG产品经理群运维

8、I&VPDFSD/SL1.核心团队基于商业运营情况向上对齐，获取决策支持；服务团队自主运营。启发式决策启发式决策SRE安全/可靠性原子服务1原子服务2产品服务2产品服务1产品服务3原子服务3产品服务族1.微服务化团队基于数字化运营结果进行自主决策；组织发展基于运营结果。SDE/SLSDE/SLUXSDE/SLPDSREUXPD“自主生长”“自主生长”构架演进20018逐渐转型为自主经营的全功能团队逐渐转型为自主经营的全功能团队2019/10/31华为云DevCloud的DevOps项目管理实践POUE运营PLSE开发测试运维Sponsor：干系人（项目/业务/服务）PO：

9、Product Owner，负责产品规划、设计、分析运营：负责产品运营UE：UCD工程师，负责用户研究、交互设计、美工、视觉SE：技术leader，系统工程师，负责架构、系统设计PL：微服务/特性经理Service Leader，兼任敏捷Scrum开发：负责代码实现测试：负责测试验证运维：负责部署、发布、运维、监控重塑角色设置，实现快速自我决策重塑角色设置，实现快速自我决策2019/10/31华为云DevCloud的DevOps项目管理实践由“集团军作战”转变为“班长的战争”，按照特性/微服务组建 80%代码覆盖率漏洞扫描开源扫描制品版本控制自动化环境准备不可变的服务器集成测试性能测试每次提交

10、触发自动化构建、部署、测试自动变更单低风险发布特性开关持续交付：持续交付：DevCloudDevCloud实践，每日持续交付流水线实践，每日持续交付流水线2019/10/31华为云DevCloud的DevOps项目管理实践SLB一次灰度用户二次灰度用户三次灰度用户集群ALv1灰度Lv2灰度Lv3灰度1%资源池资源池9%资源池资源池45%资源池资源池45%资源池灰度发布策略1 Lv1 offline2 Lv1 deploy3 Lv1 online4 Lv2 offline5 Lv2 deploy6 Lv2 online7 Lv3-1 offline8 Lv3-1 deploy9 Lv3-1 on

11、line部署服务1.一键回滚2.在线验收测试3.A/B测试4.重要新特性友好用户先体验持续反馈：灰度发布策略驱动自动化部署与回滚持续反馈：灰度发布策略驱动自动化部署与回滚2019/10/31华为云DevCloud的DevOps项目管理实践友好用户测试Private Preview编码完成Code Complete公测Public Preview商用GA云服务云服务服务完成开发验证正式商用前，选取特定友好用户来体验、试用商用前，对最终租户开放进行公开测试或免费试用正式开放给用户商用，市场价格收取相应费用36个月36个月客户运营运维不可见定向邀请少量客户所有客户可申请无限制宣传预热专题推广活动、引

12、流、促活资源准备特定区域部署规模部署/扩容持续反馈：灰度发布，友好持续反馈：灰度发布，友好/公测完备流程，产品、运营、运维配合公测完备流程，产品、运营、运维配合2019/10/31华为云DevCloud的DevOps项目管理实践数据采集数据分析规划调整SLA故障利用率PVUV热力图数据产品用户资源运维营销官网客服API调用实例类型实例数量资源总量区域用量增长率付费用户转换率流失率咨询报障投诉事件、折扣、引流VoC:Voice of Customer1.用户画像系统（精准的用户研究）2.用户行为分析系统（用户高频操作&场景）：PV/UV，智能路由，增长黑客模型3.数据中台（核心业务数据，北极星指

13、标体系）4.VOC系统：用户需求反馈和统计分析5.特性开关轻松实现A/B测试持续反馈：持续反馈：VoCVoC 驱动，持续规划，数据分析，动态调整，有错就改驱动，持续规划，数据分析，动态调整，有错就改2019/10/31华为云DevCloud的DevOps项目管理实践能力成熟度等级交付周期交付质量研发效率交付稳定度四层快速闭环小迭代高节奏交付自动化&可视化流水线自动化持续部署缩短单点耗时高效标准化环境个人级团队级产品级企业级全功能团队计划管理关键能力域关键能力项需求管理持续集成质量保证数据管理持续部署可视化与可追溯松耦合架构自动化运维运营驱动开发过程管理持续交付运维&运营环境管理云上基础设施敏捷

14、管理持续反馈：分层构建能力成熟度持续反馈：分层构建能力成熟度2019/10/31华为云DevCloud的DevOps项目管理实践1.敏捷管理1.客户联合敏捷/众创2.全功能团队，2-Pizza Team.3.服务/微服务团队，服务自治，自助部署上线4.产品管理（产品定义、竞品分析、需求排序）5.Epic-Feature-User Story，战略举措到执行落地6.Story实现客户价值，独立可交付，需求可追溯7.Scrum（站立会议，回顾，看板可视，ShowCase验收）8.Dog Food（吃狗粮）2.持续交付1.服务/微服务架构，解耦2.预留架构优化/技术改进管道3.代码分支策略，少冲突，

15、快合并4.持续集成并自动化，流水线5.Chaos Monkey/可靠性验证6.安全（Built-In Sec）7.Alpha/Beta/类生产环境8.自动化部署3.持续反馈持续反馈1.监控、运维，日志，应用性能分析2.VoC管理及其响应3.重点客户结对关怀4.灰度发布，友好/公测/商用5.运营（宣传预热，主页推广，活动引流）6.数据驱动，快速修正，动态调整规划7.持续学习与改进（主动建议，鼓励改进）敏捷管理持续交付持续反馈云原生云原生DevOpsDevOps实践全景实践全景2019/10/31华为云DevCloud的DevOps项目管理实践架构解耦服务化架构：服务解耦、实现独立服务化组织建立服

16、务化组织，对经营和客户体验负责全功能团队：产品经理、开发、测试、运维、运营跨功能一体化IT/工具环境DevRelease类生产快速发布通道数据反馈平台持续交付流水线开发&运维作业流组合与规划服务开发部署及发布运维管理持续反馈新需求识别代码通知与改进运维交接灰度发布和秒级回滚等能力持续需求规划Scrum运作公测友好用户测试服务流程已批准规划线上线下协同商用DOD云上问题处理问题处理SLA变更管理PI执行E2E全功能团队，开发运维一体化，对团队充分授权由基于Gate（Charter/DCP）的业务 决策，转变为基于OBP的周期性审视开发与运维的协同，更短的周期，更快的反馈支持服务的独立交付，自动化

17、的环境部署重用已有的成熟工具，引入先进的开源和商用软件，实现轻量级端到端DevOps工具链架构服务化解耦，支持按服务小包独立交付；构建变更能力持续规划，定期审视（节奏固定）4321OBP 定期审视OBP发布发布发布发布商业决策Ops云服务 项目立项 服务规划华为云华为云DevCloudDevCloud基于云原生时代的基于云原生时代的DevOpsDevOps体系框架体系框架消费者业务全球标志性的科技品牌运营商业务客户最佳战略合作伙伴企业业务数字化转型的使能者和最佳合作伙伴云业务做客户稳定可靠、安全可信、持续创新的云伙伴，推进实现“用得起、用得好、用得放心”的普惠AI服务全球运营商存储与服务器数据

18、中心私有云企业EIAI平台大数据分析云服务视频监控企业通信网络能源信息分发与呈现信息处理与存储信息的学习与推理智能终端联接计算和云信息传送+智能智能手机可穿戴式终端家庭智能终端车载终端全场景生活体验服务无线网络固定网络核心网运营支撑系统智能运维企业网络IoT网络可信是企业/消费者/运营商/政府接受、信任华为的基础面向不同的客户群提供面向不同的客户群提供ICTICT产品，服务产品，服务170170个国家，业务范围广、研发场景多个国家，业务范围广、研发场景多2019/10/31华为云DevCloud的DevOps项目管理实践产业互联网：传统产业借助互联网优势，提升内部效率和对外服务能力，转型升级互

19、联网产业融合发展1970S1990S20072015PC时代PC互联网移动互联网产业互联网万物互联2025联接数：1000亿用户数：10亿+用户数：30亿+用户数：40亿+联接数：160亿流量规模数据消费互联网到产业互联网，万物互联消费互联网到产业互联网，万物互联2019/10/31华为云DevCloud的DevOps项目管理实践软件危机19681980s1950s2000s软件工程7个基本原理1983人月神话揭示本质关注人、技术、过程面向对象、CMM、瀑布、需求工程Chaos+Delay Stability+ReliabilityStability+Reliability Velocity+

20、ReliabilityVelocity+Reliability?敏捷，精益DevOps，CICDIaaC，微服务AIOpsDevSecOpsClean CodeBuilt-In X思路：借鉴硬件制造，管理偏差2020敏捷宣言2001DevOps2009尝试解决软件开发质量、可控、有序问题尝试解决软件开发效率、速度问题思路：敏捷迭代，响应市场变化尝试解决软件产品可信问题客户群：航天，金融软件客户群：企业软件客户群：互联网/移动互联网消费者软件客户群：万物互联，全行业第一阶段第二阶段第三阶段回顾软件工程发展史，就是管理和技术并行，迎接挑战的历史回顾软件工程发展史，就是管理和技术并行，迎接挑战的历史

21、2019/10/31华为云DevCloud的DevOps项目管理实践可信高阶框架可信高阶框架2019/10/31华为云DevCloud的DevOps项目管理实践 华为30多年研发的“冰山一角”，以客户为中心，适配外部客户的场景，持续对外供给内部的能力华为云DevCloudIPD华为敏捷华为DevOps华为研发变革华为研发工具服务可信6个1CleanCode可信安全(需求/代码/环境安全)干货的工程实践CI/CD，Clean Code领先的管理理念如何变革，如何管理，如何实践软件开发服务（DevCloud）华为云华为云DevCloud：华为：华为30年研发理念年研发理念/实践实践/工程工程/工具的对外孵化工具的对外孵化2019/10/31华为云DevCloud的DevOps项目管理实践谢谢！2019/10/31华为云DevCloud的DevOps项目管理实践