《黎嘉豪-平台工程一致性与规模化.pdf》由会员分享，可在线阅读，更多相关《黎嘉豪-平台工程一致性与规模化.pdf（39页珍藏版）》请在三个皮匠报告上搜索。

1、 腾讯DevOps核心系统负责人 百度协同管理工具架构师 华为云计算高级研发工程师，负责计算、存储的设计和研发 DevOps Master 认证 DevOps Enterprise Coach认证 DevOps 标准核心编写专家 百度方法+持续交付联合作者、百度DevOps布道师 Devops最佳实践合译者GOPS 全球运维大会 2024 深圳站AgendaAgenda 平台工程是不是新的轮子?探索路径与效果 发展阶段 规模化的效果 如何提高一致性来达到规模化 拥抱平台工程，避免踩入常见的误区GOPS 全球运维大会 2024 深圳站Gartner Reportx 平台工程是否又一个轮子Gart

2、ner use hype circle predict platform engineering will be main-stream tech at 2025 and 20282022年2023年GOPS 全球运维大会 2024 深圳站Puppet Report x 平台工程是否又一个轮子Puppet x Humanitec 2024 DevOps Report96%companies have already established a platform engineering team.78%of the teams have been established for at least

3、 three years.Top benefits of platform engineering:Productivity-Quality and Stable-Reduce Lead time-Average 3 IDPS in one companyGOPS 全球运维大会 2024 深圳站Challenge for Developersx 平台工程是否又一个轮子Ref from Daniel Bryant at PlatformCon 2022-Netflix 使用他们的平台来解决开发人员管理多种服务和软件、了解存在哪些工具以及在工具之间切换上下文的挑战。-Nordstrom 建立了一个

4、平台，成为“自助服务的北极星”。他们的平台帮助消除了配置过程中的瓶颈，并消除了人们登录生产的需要。这些变化使组织能够更快地行动。-Zalando 利用他们的平台来统一开发人员体验，促进默认合规性，并随着时间的推移改进公司的运营方式。GOPS 全球运维大会 2024 深圳站First Principle Thinkingx 平台工程是否又一个轮子1.多数开发员不喜欢处理基础设施。他们想编写代码并在某个地运它，但不太关运在哪。函数即服务（例如 Lambda）或平台即服务（例如 Vercel）提供了这种体验。2.随着公司/组织的发展，其需求可能会“超出”由 FaaS 和 PaaS 产品施加的限制。然

5、后挑战变成在不离开开发者舒适区的情况下向上移动控制轴。这就是平台程发挥作的地！GOPS 全球运维大会 2024 深圳站平台工程的目标开发人员拥有应用和应用组 SDLC 控制权减少开发人员的负担帮助软件团队提升和持续交付软件业务价值灵活/规模/安全的平衡速度 v.s 质量人/服务流程价值观GOPS 全球运维大会 2024 深圳站工程上的合理性云计算DevOps平台建设及互联IDP/CICD Platform/平台工程个人经历的三个阶段：Hybrid Cloud Manage Service (e.g.pulumi)GOPS 全球运维大会 2024 深圳站AgendaAgenda 平台工程是不是新

6、的轮子?探索路径与效果 发展阶段 规模化的效果 如何提高一致性来达到规模化 拥抱平台工程，避免踩入常见的误区GOPS 全球运维大会 2024 深圳站发展阶段 x 探索路径引用：Platform Engineering 101:What You Need to Know about This Hot New Trend定义平台工程团队的目标构建平台工程团队构建平台,遵循产品方法如:用户研究/UserStory Mapping/MVP等衡量平台工程的KPI,并监控起来。如：生产力，交付时间，部署频率，开发人员满意度，稳定性和效率3 Roadmap范围：项目级落地-基于业务情况设计SDLC-搭建系统

7、配置流水线-程度：弱范围：多项目落地-基于场景设计，服务端/移动端/前端-整合门户Portal，收敛开发入口-有考虑升级场景一般通过模板更新来升级实例-程度：中范围：多业务落地-平台根据 SDLC 阶段特征，进行抽象能力-满足PD/RD/QA/SRE 等角色的使用场景-具备规模化升级能力-升级过程具备严谨的质量保证和双跑，更新实时性强-协助垂类平台，能更好服务托管业务的安全和合规-程度：高GOPS 全球运维大会 2024 深圳站2 Different Strategyx 探索路径 Monorepo-Dictates all source code in a single source repo

8、.-There are no versions of internal libraries,just what is on HEAD-Any code change should be compiled/tested against everything in the repository before being pushed to HEADMultiple Repos-Share little approach(or dont use shared libraries)-Services should only be coupled via their HTTP APIs-Minimall

9、y reused CI/CD capabilities,each built independently.GOPS 全球运维大会 2024 深圳站MonorepoGOPS 全球运维大会 2024 深圳站Advantages of monorepo at scale-单一代码库、共享、横向可见性-支持代码共享和重用-改善协作，更容易重构-简化的依赖管理(配置,DDL等)-原子变化仍处于控制之中-标准的 CI/CD 管道-所有提交和发布都经过评审、自动化测试Mindset:-Resolved once and for all-Who build it,who run itAdvantages of

10、 monorepo at scale:杨国安，马化腾称他为“世界级的企业实战教练”Test Env Staging Env Production EnvGOPS 全球运维大会 2024 深圳站人人为我，我为人人 x 规模化的效果Write some testcases.GOPS 全球运维大会 2024 深圳站人人为我，我为人人 x 规模化的效果Presubmit开发想修复一个公共库的缺陷系统平台能给他什么样的支持?我是否可以推动所有使用这个公共库的用户知晓这个缺陷并让他们放心升级以及制定发布计划容不容愿不愿GOPS 全球运维大会 2024 深圳站人人为我，我为人人 x 规模化的效果Presub

11、mit修改代码,发起MR/CRGOPS 全球运维大会 2024 深圳站Change one，change whole x 规模化的效果Postsubmit and Deploy代码合入主干,制作制品,发布GOPS 全球运维大会 2024 深圳站大规模升级依赖 x 规模化的效果依赖升级结合CICD标准化按月定期升级所有服务依赖升级分批验证，全生命周期跟踪依赖情况的检查破坏性变更的检查遇到问题，及时回滚和止损模块保密GOPS 全球运维大会 2024 深圳站精准构建/编译加速 x 规模化的效果代码到镜像时间：6070 minutes-8mins标准化Toolchain编译入口加速显式声明依赖本地触发

12、远程构建Level 1支持，基于容器支持，统一shell无无只有CLI触发方式Level 2支持，基于容器+第三方依赖描述支持，标准命令无部分只有CLI触发方式Level 3Bazel Image,BazelRule支持，Bazel Rule支持支持Bazel原生命令+CLI支持构建标准化覆盖三部分：1、依赖的构建环境（包含：硬件、操作系统、开发语言、Toolchain/SDK、第三方开源代码版本等）2、标准化编译入口3、标准化输出、归档（产出物）-大仓编译缓存+精准测试，降低构建量94%94%GOPS 全球运维大会 2024 深圳站L3/L4/L5的自动发布 x 规模化的效果通过制品库，所有

13、代码只有通过持续集成流水线验证的，才可以被打包成制品，并通过仅授权标准流水线向产出物打可信标签，实现对于被部署产出物的质量筛选。在CD环节，所有环境的晋级也是基于制品的可信标签进行流转，每个环境的验证结果都会被自动化流水线记录在制品库的标签中GOPS 全球运维大会 2024 深圳站提高服务部署稳定性 x 规模化的效果发布变更类线上操作变更代码发布配置变更运营配置 当前的部署服务不能执行完整的线上变更操作，对于多种配置变更的验证不足；围绕部署变更的质量保证实践没有工具及流程支撑；环境的使用及变更管理缺少规范及管理，变更破坏环境隔离影响线上持续交付（CD）以及敏捷方法论的一个核心原则是，随着时间的

14、推移，较小的变更批次能够产生更高的质量；敏捷频繁小批量发布自动化减少或消除频繁发布的重复开销隔离力争采用模块化架构，以隔离变更，并使故障排除更加容易可靠度量关键的健康指标，如崩溃或延迟，并不断改进它们数据驱动决策对健康指标进行 A/B 测试，以确保质量。分阶段发布在将变更发布给所有人之前，先向少数用户发布。在整个2022年某BG 发布变更类导致的故障在有定级的故障里占比达到XXXX%GOPS 全球运维大会 2024 深圳站需求的托管 x 规模化的效果需求的标准化能让需求看板更加清晰及时反馈项目状态，潜在的场景，PMO会关注需求状态是否更新及时，业务PD 会关注需求的lead time，技术TL

15、 会关注版本发布的需求清单。-标准化包含需求模板/工作流的标准化，同时也跟CICD过程的结合。GOPS 全球运维大会 2024 深圳站对于中台，平台工程赋能了平滑升级 x 规模化的效果-控制panel(*)-执行panel-数据panelGOPS 全球运维大会 2024 深圳站AgendaAgenda 平台工程是不是新的轮子?探索路径与效果 发展阶段 规模化的效果 如何提高一致性来达到规模化 拥抱平台工程，避免踩入常见的误区GOPS 全球运维大会 2024 深圳站整体目标 x 如何提高一致性大家都在说工程师文化，文化就深植于这三个方面，我们必须通过这三方面的建设，才能打造我们想要的工程师文化。

16、文化是这三方面相互作用的结果，它既不是过程，也不是方法。如果我们想让效率不降低，就要想办法消除随机复杂性，而消除随机复杂性的必经之路就是“一致性”。而要达成一致性，大家必然要遵守相同的“道、法、器、术”。如果道和法不同，那么，器和术上的一致在社会性问题上也无法达成。而道和法一致，那么，器和术就可以相互转换，螺旋上升。引用自：乔梁老师，一致性，是研发效能提升的必经之路！GOPS 全球运维大会 2024 深圳站平台工程总览 x 如何提高一致性GOPS 全球运维大会 2024 深圳站Metadata x 如何提高一致性建立应用-发布单元的映射产品-PAM(APP)-PAM(RU)CICI-COMMI

17、TMETA-PIPELINEMETA-TESTPLANCDCD-DEPLOYMETA-XAC我们实现的时候用 AsCode的方案GOPS 全球运维大会 2024 深圳站Example for Metadata x 如何提高一致性Rule:Define for user scenarioRule:Minimize variation Rule:Monitor,Testable Rule:Different Permission Rule:Easy to ScaleProto-TextProtoGOPS 全球运维大会 2024 深圳站用户故事地图 x 如何提高一致性Design for oRDoB

18、uild EngineeroQAoREoSREoPDoTLoSecurityoAudit核心场景超过500+SDLC全面覆盖GOPS 全球运维大会 2024 深圳站System Design For Every Stage(Abstraction)x 如何提高一致性Example:Presubmit代码即将合入主干前的质量验证，在此阶段尽量模拟开发人员代码合入后主干的效果，避免提交的代码合入主干后影响其他开发人员。本步骤对任务时间、质量和并发都很高的要求，长耗时任务会被强制取消，性能不满足的任务允许用户不执行。建议执行时间15分钟以下。定位问题成本最低出错精度最高失败不阻塞他人阻塞可靠性效率代

19、码变更范围：代码变更范围：业务代码 测试代码 配置与数据 工程元数据文件 基础设施执行的任务：执行的任务：对于业务代码、测试代码的测试对于配置与数据的测试对工程文件（元数据文件、非Bazel的编译依赖等）的测试GOPS 全球运维大会 2024 深圳站Everything as Code x 如何提高一致性框架配置（trpc.yaml）业务配置（rainbow）服务配置（deployment.yaml）n 代码和配置不匹配n 配置未经过测试环境验证n 配置随意更改未经审批n 漏改、忘改配置GOPS 全球运维大会 2024 深圳站AgendaAgenda 平台工程是不是新的轮子?探索路径与效果 发

20、展阶段 规模化的效果 如何提高一致性来达到规模化 拥抱平台工程，避免踩入常见的误区GOPS 全球运维大会 2024 深圳站拥抱平台工程，避免踩入常见的误区You Rename Your(Dev)Ops Team to Platform Team But Still Do TicketOpsNo Mindset Shift to Platform as a ProductYour Platform Team Builds a Platform for Ops,Not For DevelopersYou Replace Old Tech with New Stuff for No ReasonYo

21、u Think Your Setup Needs to Be Special(*)You Build a Portal Developers Never Asked forYou Try to Hide Sunk Costs(*)引用自：https:/platformengineering.org/blog/9-steps-to-platform-engineering-hellGOPS 全球运维大会 2024 深圳站适者生存 x 避免踩入常见的误区融合大小仓方案，让升级可覆盖所有场景，组建企业级的质量防护体系123平台工程作为企业级DevOps成功实施的核心能力，受到广泛关注p 平台工程是一

22、组用于设计、构建和运营支持软件价值交付和生命周期管理的平台的方法、流程和机制，具备自助式、自服务能力，能够最小化内部IT人员的认知负荷，提升DevOps/BizDevOps质量、效率与效能。p 当前，在数字化转型的浪潮下，平台工程对于加强科技能力至关重要，国内多项政策文件均提及或鼓励企业建设内部开发运维平台；国际上多个权威机构都将平台工程视为关键技术趋势。国家金融监管总局：积极引入研发运维一体化工具，完善数字化交付管理体系p中国银保监会办公厅关于银行业保险业数字化转型的指导意见要求“推动科技管理敏捷转型。建立能够快速响应需求的敏捷研发运维体系，积极引入研发运维一体化工具，建设企业级一站式研发协

23、同平台。建立适应敏态与稳态的全周期线上交付管理流程，完善数字化交付管理体系”。中国证券业协会：建设统一的源代码管理工具和标准化的研发运维一体化工具平台p证券公司网络和信息安全三年提升计划（2023-2025）提到，建设统一的源代码管理工具和标准化的研发运维一体化工具平台，进而将安全控制手段嵌入信息系统开发的需求分析、设计、编码、测试、发布和运维等各环节中，有助于持续提升代码开发效率及安全。Gatner将平台工程列为2024年顶级战略技术趋势之一，已经连续两年将平台工程作为关键技术预测。根据Gatner的预测，到2026年，80%的软件工程组织将拥有平台工程团队，来提供内部服务、组件和应用程序交

24、付工具，作为可重复使用的资源。其对“平台工程”的定义为：一套用来构建和运营支持软件交付和生命周期管理的自助式内部开发者平台的机制和架构。国际权威机构预测报告2023年，Puppet发布“2023DevOps现状报告“，重点关注平台工程，并将其定义为：是一套设计和构建自服务功能的规程，以最小化开发人员的认知负荷，并支持快速流软件交付。报告指出，平台工程可以为整个组织带来意义深远的好处，帮助企业级 DevOps 实施走向成功。在公司加强平台团队招聘的过程中，他们必须优先考虑产品管理技能，而不仅仅是核心工程。第13部分：平台工程能力要求标准框架标准化工作推动各行业企业平台工程领域落地2023年4月，

25、中国信通院牵头发起研发运营一体化（DevOps）能力成熟度模型 第13部分：平台工程能力要求标准编制工作，这是首个针对DevOps平台工程能力成熟度的标准，目前已有超40家企业参与到标准编制工作中。标准从平台建设、平台服务、平台运营、平台团队、平台保障五个维度对企业平台工程体系建设提供规范性建议与指导。标准面向对象平台团队：明确平台服务能力确定平台团队职责规范平台运营方式梳理人员技能要求管理人员：明确平台工程建设必要性评估自身平台工程能力发展阶段厘清平台工程能力差距弱点形成平台团队下一步工作目标参与标准及评估事宜请联系：信通院武老师电话：（同微信）邮箱：当前，研发运营一体化（DevOps）能力成熟度模型 第13部分：平台工程能力要求已通过征求意见稿讨论，进入送审稿阶段，且研发工程场景的报名评估已开放。GOPS 全球运维大会 2024 深圳站Q&A信通院武老师感谢大家观看THANKS