1、万人研发规模企业研效度量平台建设和团队提升实践2023 深圳站张勇研效专家和测试专家，拥有19年研发经验，10年的敏捷交付和企业数字化转型经验，帮助企业在组织变革、研发流程改进、产品交付质量和效率提升、研发工具链平台建设和产品及研发团队优秀实践进行落地等。曾在互联网、金融、国外IBM、HP等公司负责规模化研效提升和数字化转型，拥有深厚的研效工具链产品经验和公司层面研效推动经验，在产品领域、研发领域、测试领域、运维领域和线上运营都有实际落地经验。研效专家嘉宾照片2023 深圳站目录EPLUS研效度量平台挑战和演进01 EPLUS平台技术架构挑战02 自下而上的规模化推进03 2023 深圳站01

2、EPLUS研效度量平台挑战和演进2023 深圳站EPLUS度量平台-研发各领域场景覆盖通过数据度量的能力，使用更合适的度量维度对研效各领域进行洞察与分析，支持团队观测和持续改进2023 深圳站EPLUS度量平台-产品能力和价值输出用户价值交付产物工作流程应对挑战元数据模设计数据采集宽表生产基础指标定义生产用户观测实现数据分析写报告分析规则生产自动分析和报告生产元数据模型库规范宽表库公共指标库观测案例库观测报告模版库工具链拉通和研发活动规范定义公共数据和个性化数据关联扩展各类分级指标质量保障按观测场景输出指导案例数据大盘高价值指标设计者、专家等QA、PM、指标设计者、专家等QA、TL、PM、专家

3、等QA、PM、TL、Dev、Test、Ops、专家等各工具数据上报准确性和及时性用户自定义观测场景灵活编排2023 深圳站目标：建设标准观测看板【观】观测指标和阀值配置支持；【数仓】拉通观测场景，串联多个平台数据；【数仓】各平台自动数据授权；【数仓】基础观测指标模型；目标：规模化度量数仓建设和个性化观测【观】串联场景诊断能力；【观】事中分析能力；【数仓】指标和公共服务宽表质量监控；【数仓】数据观测安全管控；【数仓】用户自定义数据和指标扩展；【数仓】公共指标、模型和分析场景模版建设目标：观测自主定制【观】用户自定义诊断内容【观】观测报告模版自定义【数仓】自定义上报数据自动关联和观测【数仓】观测模

4、版库和灵活配置【数仓】观测自动化诊断阶段一（过去）从无到有研发体验提升阶段二（现在）研效数据和指标全链路质量监控研效数据治理和安全管控阶段三（未来）用户自配置场景洞察自助诊断EPLUS度量平台-演进路线2023 深圳站阶段一-观测体系建设（2021年发布1.0数据规范）需求变更率需求评审通过率一类错误二类错误项目管理需求管理需求拆分版本规划需求代码规则策略分支策略安全策略代码规范扫描检查规则策略构建部署构建管理环境管理配置管理日志采集制品安全构建部署功能测试用例管理缺陷管理自动化测试测试环境管理功能测试发布（CD、CO）版本管理安全监控运维监控故障处理提交发布CE实验测算运营收益代码分支基线版

5、本控制仓库管理代码质量规范梳理需求流程规范需求操作规范需求拆分规范需求版本规范交付效率代码仓库配置规范提交关联工作项代码提交规范代码版本规范代码编写规范代码分支规范代码安全规范代码缺陷检查规范提交构建流水线规范制品元数据规范流水线AsCode规范提交次级构建规范缺陷管理规范用例管理规范代码安全规范检查发布前安全规范监测代码规范检查通过率代码安全检查通过率本地代码规范检查通过率本地代码缺陷检查通过率代码缺陷检查通过率交付质量交付能力需求交付周期需求吞吐率需求开发周期需求测试周期需求发布周期.单测增量行覆盖率单测增量分支覆盖率CR参与率单位CR变更行数CR千行评论数新增代码CR覆盖率代码质量检查代

6、码提交构建限时成功率制品安全检查覆盖率构建成功率次级构建合规率次级构建限时成功率BVT成功率遗留缺陷DI值缺陷逃逸率千行代码缺陷率代码全量覆盖率需求自动化覆盖率兼容性场景覆盖率测试响应时间自动化测试时长安全扫描覆盖率预发布覆盖率预发布成功率平均配置成功率平均发布成功率发布故障数、发布故障率故障数量、MTTR、MTTD平均配置时长平均部署时长部署频率平均发布时长.日均紧急变更次数团队人均工单数故障告警覆盖率发布实验比例实验覆盖率实验周期编译耗时单元测试耗时Bugfix流水线耗时Pre-MR构建耗时构建频率.代码安全扫描耗时代码规范扫描耗时代码提交/合并频率代码库数量代码提交量（代码当量）数据指标

7、可视化研发流程需求管理流程落地率需求单操作规范率代码仓库配置是否合规代码提交日志规范率提交构建合规率制品规范率PipelineAsCode覆盖率提交构建安全合规率安全质量门禁设置率2023 深圳站需求价值流新需求待规划规划中待排期排期中待开发开发中待测试测试中待验收验收中待发布发布中分析阶段设计阶段开发阶段测试阶段验收阶段发布阶段创建代码分支发起转测执行P0测试创建发布评审执行发布研发迭代（服务端示意图）开发&测试阶段发布维护需求平均交付周期需求吞吐率研发活动（关注研发体验）拉取代码本地开发编译打包单元测试代码扫描问题排查代码合流制品入库 接口测试P0自动化测试 SIT测试缺陷管理性能测试部署

8、线上运维故障管理 环境准备发布评审研发活动微反馈环 代码CR 研发流程自动化（事件驱动）公共基线分析模型需求价值流模型 公共基线指标模型需求域：6+代码域：8+CI域：6+测试域：3+CD域：4+团队自制指标模型115+统计维度部门/中心/团队/项目研发迭代平均交付周期 环境准备验收测试安全测试阶段一-聚焦研发体验，建设观测看板2023 深圳站阶段二-规模化场景挑战和应对研发流程各领域涉及的环节和研发活动非常多，通过元数据模型规范进行标准化定义标准化各研发环节定义各团队研发观测指标多，定义不统一，复用成本高，指标稳定性投入成本高，通过元模型和指标分层标准化治理，拉通各团队指标定义标准化指标体系

9、和质量保障研发链路涉及的工具非常多，通过智研一站式保证各工具标准串联标准化工具链串联数据观测需要采集各工具数据，并做数据清洗、宽表加工、指标计算，通过研效数仓治理监研效数仓治理监控和控和SLA服务监控大盘服务监控大盘保障数据准确性和及时性保障0 深圳站阶段二-借助智研一站式串联研发场景2023 深圳站阶段二-元模型保障观测数据稳定、高质量ODS1、Operation Data Store 数据准备区2、源数据：需求工具、代码工具、流水线工具、测试工具、部署工具.3、ODS是数据仓库层的准备区DWD1、Data Warehouse Details 数据细节层2、业务层和数据

10、仓库层的隔离层，保持和ODS层相同颗粒度3、研效原始数据经过清洗、规范化、标准化操作后写入DWD表DWS1、Data Warehouse Service 数据服务层2、汇总结果通常是宽表，用于OLAP和数据分发3、计算出更多用户相关的指标、更多时间维度数据数仓DW数据流向代码数据测试数据需求数据代码域数据流水线域数据发布域数据需求表代码提交表流水线构建表需求域数据迭代表ODS1、Operation Data Store 数据准备区2、源数据：需求工具、代码工具、流水线工具、测试工具、部署工具.3、ODS是数据仓库层的准备区DWD1、Data Warehouse Details 数据细节层2、业

11、务层和数据仓库层的隔离层，保持和ODS层相同颗粒度3、研效原始数据经过清洗、规范化、标准化操作后写入DWD表DWS1、Data Warehouse Service 数据服务层2、汇总结果通常是宽表，用于OLAP和数据分发3、计算出更多用户相关的指标、更多时间维度数据数仓DW数据流向需求数据流水线数据代码数据代码域数据流水线域数据.需求表代码提交表流水线构建表需求域数据迭代表基于研发流程整体建模，串联各个工具平台，规范领域和维度数据建模（元数据E-R图），规范研效数据安全等级元数据和安全管理ODS1、Operation Data Store 数据准备区2、源数据：需求工具、代码工具、流水线工具、

12、测试工具、部署工具.3、ODS是数据仓库层的准备区DWD1、Data Warehouse Details 数据细节层2、业务层和数据仓库层的隔离层，保持和ODS层相同颗粒度3、研效原始数据经过清洗、规范化、标准化操作后写入DWD表DWS1、Data Warehouse Service 数据服务层2、汇总结果通常是宽表，用于OLAP和数据分发3、计算出更多用户相关的指标、更多时间维度数据数仓DW数据流向各工具平台上报数据同一套平台标准上报数据部门维度数据项目维度数据需求域和维度聚合数据代码域和维度聚合数据 流水线域和维度聚合数据多套平台按元数据模型标准上报数据测试数据.部署数据 2023 深圳站

13、阶段二-元数据管理便捷搜索 通过元数据管理页面快速搜索需要的观测数据和明细定义2023 深圳站阶段二-研效数据字段级安全管控 研效数据字段做安全标记和权限管控，按照用户申请权限开放对应宽表字段：根据数据的敏感程度，从高到低划分为四个安全级别：4级(C4)、3级(C3)、2级(C2)、1级(C1)安全级别定义数据服务原则C4高度敏感数据，非授权泄露这些数据可能会触犯隐私保护、数据安全等相关法律，可能导致员工个人信息泄露，可能会给公司带来非常严重的利益损害只提供给A类客户，需经过研发敏感数据审批流程C3敏感数据，非授权泄露这些数据可能会触犯隐私合规规范，可能导致研发项目信息泄露，可能会给公司带来严

14、重的利益损害。提供给B类客户，需经过研发敏感数据审批流程C2保密数据，如果该数据出现外泄可能导致研发项目信息泄露，可能会造成重大影响或损失。C1内部数据，不适合对公司外公开，但对公司内的部门可以按流程申请/下载。2023 深圳站阶段二-研效数据分层质量监控 通过ODS/DWD宽表治理，保障各工具方上报数据的规范性（比如命名、注释、状态枚举等）2023 深圳站阶段二-研效数据服务SLA监控大盘 各领域ODS/DWD数据保证在每日9点30分前准备好，目标是当月成功率 99%2023 深圳站阶段二-研效数据治理成果 覆盖9个领域、设计标准化元模型51个、治理ODS表114个、治理服务业务宽表32个2

15、023 深圳站阶段二-元模型保障指标质量场景化需求数据需求/代码工具流水线工具部署工具各工具数据分别授权申请代码数据流水线数据测试数据部署数据研效数据关联、数据降噪、数据监控自定义需求指标模型自定义代码指标模型自定义CI指标模型自定义测试指标模型自定义CD指标模型研效度量指标和下钻分析表集合场景化场景化场景化场景化场景化一个研效数仓底座，一键授权和链路监控公共元数据自动关联和质量监控自定义上报元数据公共基线指标模型（需求、代码、CI、CD等）个性化指标模型定制加工研效度量指标和下钻分析报表集合默认基线场景模版和自定义扩展自定义场景化报表看板展示看板展示和辅助诊断公共基线分析模型（价值流模型、质

16、量模型等）自定义元数据自定义元数据自定义元数据自定义元数据自定义元数据 规范元数据集合自定义元数据交付全链路数据的自动采集、管理、汇聚和指标及报表模版输出交付全链路数据的自动采集、管理、汇聚和指标及报表模版输出2023 深圳站阶段二-提供公共基础指标库 提供丰富的公共指标库，方便用户使用；项目XXP80月度构建成功率构建成功率分析模型.度量函数构建成功次数构建失败次数流水线执行宽表度量方法度量方法度量构造模型举例平台示意图提供丰富的公共指标公共指标公共指标2023 深圳站阶段二-提供丰富公共观测模版2023 深圳站02EPLUS平台技术架构挑战2023 深圳站EPLUS度量平台-技术架构挑战C

17、DC湖仓 DW（HDFS/ICEBERG）ODSDWDDWSFLINK SQLBINLOGAPI采集器插件化数据集市DMclickhouse（OLAP）Xxx/xxx-apiXxx/xxx-api&binlogxxx-binlog数据探索（supersql)数据开发(任务管理/oceanus/us）采集监控采集PIPLE LINE1：研效数据/指标加工（流批一体，天/小时/分钟/秒）FLINK SQLFLINK SQLPIPLE LINE2：维度采集（批处理，天/按需）PIPLE LINE4：事件实时反馈（秒级）指标建模（原子/维度/限定/派生/复合)PIPLE LINE3：洞察分析/特征/分

18、类/聚类 处理（批处理，天）PIPLE LINE5：数据质量巡检（批处理，天）SPARK DIMSPARK ML洞察类数据深度综合分析：代码库依赖、精品CR评论事件MQbinlog监控事件接口上报事件binlog上报事件数据tubemq事件报告FLINK SQL从研效事件实时关联的研效洞察分析&建议&信息汇聚数据治理元数据管理数据巡检数据安全数据成本元模型管理数据地图/搜索采集任务管理（DLA/API采集/自助）元数据管理标签管理EPLUS研效数仓管理平台研效数据ADSDWSDWD事件报告数据血缘公司重点研效数据其他研效数据（支持数据方自助上报）洞察数据数据服务（数仓直出/OLAP）权限管理（

19、多租户/数据申请交付）数据回溯数据申请/交付EPLUS 研效看板Xxx/xxx/xxx统一基础维度：项目/产品/部门等各租户管理员/数据分析员热数据实时入湖ODS/DIM批入湖ODS/DIM实时事件触发洞察2023 深圳站03自下而上的规模化推进2023 深圳站自下而上突破-基于业务目标持续改进效能时间当前状态期望状态02.通过洞察挖掘出价值流中可能的瓶颈03.选择研发效能实践地图中适当的实践04.从小范围开始，纵向进行实验01.明确一个改进目标（结果指标）05.度量实验结果，是否支持实验的假设？内部运营，形成标杆效应，回到第一步一次只解决一个问题系统思考，以整体方式考虑约束明确范围、时间、度

20、量指标、成功标准基于数据的证据，持续实验把精力放在制定一些能帮你做出决策的指标上。-埃里克里斯2023 深圳站自下而上突破-从【自主提效】到【规模推广】团队自主提效活动沉淀提效经验库推广落地活动驱动共同沉淀沉淀入库推广复制先行牵引交流社区激励价值质量速度安全实践流程指标诊断效果推广团队部门跨部门BG层面从点到面推广提效实践普及沉淀团队优秀实践沉淀观测实战案例激励团队自主提效关注业务推动效果感谢聆听CSDN全球最大的中文开发者社区平台CSDN全球最大的中文开发者社区平台CSDN创立于1999年全球编程类网站排名第7（来源：Similarweb 2023.04）注册用户超过4300万，覆盖90%的中文开发者新媒体矩阵粉丝数量超过3100万超过1000家企业客户和合作伙伴目前公司员工近800名，分布在北京、长沙、上海、深圳、杭州、成都等城市，并在美国硅谷常设办事处旗下品牌旗下品牌专业中文IT技术社区：CSDN.NET多媒体专业出版：新程序员开发者专属移动APP:CSDN APP代码托管协作平台：GitCode代码工具协同平台：InsCodeIT人力资源服务：科锐福克斯丨八爪网络高校IT技术学习成长平台：高校俱乐部