1、从谈度量色变到度量成为日常研发的晴雨表2023.7 北京彭晶彭晶负责AI、大数据开发团队的质量保障、测试体系建设、测试工具平台的规划及落地负责寿险科技研发度量体系建设及度量平台的规划落地平安寿险总部 质量管理团队 测试经理嘉宾照片目录CONTENTS面临现状：谈度量色变，只增工作量，不增质效？01 改变观念：让度量成为工具，而不是负担02 搭建体系：从被动要求的度量到我们需要什么样的度量03 深入应用：能有效发现问题的度量才是好度量04 获得认可：度量成为日常研发过程的晴雨表05 01面临现状：谈度量色变，只增工作，不增质效？研发度量的必要性1/2传统金融公司的IT研发团队同样需要基于研发度量

2、持续推动质效改进IT行业发展需求1.无限的需求和有限的资源冲突2.研发人员规模的边际收益递减经济发展大环境需求1.经济向下背景下降本增效的要求2.业务需要更清晰的研发效能数据透视投入产出比组织自身发展需求1.数字化背景下研发过程的数字化成为必然趋势研发度量的必要性2/2生产问题多，技术团队交付质量差技术团队响应慢，需求积压业务方的抱怨需求质量差、文档不清晰、澄清需求耗时多临时插入需求需求变更频繁测试验收缺陷不及时开发的抱怨需求/技术方案变更未同步提测质量差，冒烟测试不通过提测延期了，压缩测试时间缺陷修复未自测，反复验证测试的抱怨一直在说人不够、很忙很忙，但是业务方反馈需求积压、响应慢，不知道你

3、们在忙什么业务经常投诉生产问题很多管理者的抱怨实际研发中遇到的各种问题，需要通过度量数据来找到背后的原因金融公司的特点：管控？VS改进？集团研发管理要求各子公司研发团队统一的指标库，标准一刀切公司级QA，如何落地？被动接受任务结果：达成任务？vs 研发最佳实践？任务的方式强制推动指标设计的挑战落地的挑战角色分工的特殊性：研发质效改进缺乏统筹角色不同角色的职责定位不同，关注局部，缺乏整体研发质效闭环的统筹角色02改变观念：让度量成为工具，而不是负担打破角色分工的约束，重塑质量团队的职责1.测试岗位的特殊性，天然具备研发全流程质量把控的优势2.独立的质量团队具备资源整合和协调推动的优势开展业务测试

4、需参与从需求评审到生产上线的全过程处于链条末端，熟悉全流程的研发规范生产质量是质量保障的最终的交付结果对过程质量的管理和分析，可以推动整体的效率和质量左移基于质量团队的角色优势，由质量团队来牵头度量体系建设工作，统筹推动研发质效改进让度量成为工具，而不是负担度量指标重点在于推动研发质效问题的发现和改进，不是为了完成任务03搭建体系：从被动要求的度量到我们需要什么样的度量迭代过程质量管理现状问题分析及改进只局限于各开发团队内，经验难以复制，无法改善科技整体的研发质量基线各团队独立行为实施情况依赖于各自组织者成熟度不足之处指标项选择不同相同指标口径不同手工统计分析脚本或工具平台统计分析不同团队存在

5、从0到1的重复建设数据只能应用于各自团队内，无法应用于分析科技整体情况最佳实践在科技整体层面推进无抓手经验教训难以复制指标或口径不统一采集统计方式不统一体系或平台重复建设数据无法互通无法推动整体改进线上质量管理现状问题分级缺少支撑问题改进缺少目标定级不统一、边界模糊问题处理流程在消除异常后就终止缺少整体性的复盘分析及改进治理改进无法持续质量变化趋势缺少数据下钻效果无法评估线上问题数据分散在各个平台部分问题缺少记录或线下维护缺少数据底座缺乏统一的定级标准、统一的问题管理、统一的问题复盘及改进，无法掌握全局线上质量情况研发生命周期关键活动需求阶段需求阶段需求评审需求变更开发阶段开发阶段开发提测设计

6、代码评审用例设计评审测试阶段测试阶段冒烟测试系统测试UAT测试抓到一个是一个？抓到一个是一个？生产运营阶段生产运营阶段业务验收告警与监控运营配置管理发布阶段发布阶段发布评审版本验收质效问题覆盖从需求到生产运营阶段的研发全生命周期各个关键活动，需分别建立度量指标度量体系建设路径推推动动质效质效改进改进合理合理设计设计有有效牵引效牵引.数据驱动数据驱动持续改进持续改进透明质量透明质量了解现状了解现状指指标设计原则标设计原则1.借鉴行业经验，立足自身实际需求2.广泛沟通，达成一致3.兼容不同团队应用类型及发展阶段指标体系内容指标体系内容1.覆盖需求到生产全研发周期2.结果指标、过程指标的分层指标体系

7、3.团队、分组、项目等不同维度聚合指指标标设设计计指指标标开开发发指指标标推推广广应应用用指标应指标应用用1.月度沟通机制，共同挖掘指标数据背后的问题并改进闭环2.先内（IT）再外（业务）充分宣充分宣导导1.指标口径公示、研发操作规范宣导2.指标接口人机制，传达并执行客观客观有有效效准、快准、快指指导导改进改进指标数据准确性指标数据准确性1.统一研发流程及操作规范2.统一线上问题定级标准及处理规范度度量指标开发量指标开发1.基于统一数据源，指标数据自动统计2.可视化度量平台，支持数据下钻分析建立端到端的质效度量指标体系阶段成果三层指标：发现问题，及时行动，经理/骨干需求缺陷率准时提测率严重缺陷

8、率冒烟执行率冒烟通过率缺陷Reopen率缺陷修复时效缺陷验证时效回归接口自动化率一次通过率发布验证缺陷数缺陷消除率结果指标需求变更率临时需求率故障恢复时长构建成功率有效缺陷率构建时长测试缺陷数关键过程指标叶子指标规划上线率扫描修复率监控发现率一层指标：全局牵引，看质量好坏，高层/部门长二层指标：分析改进，实施管理动作，部门长/经理UAT验收执行率需求阶段需求阶段开发阶段开发阶段测试阶段测试阶段发布阶段发布阶段生产阶段生产阶段严重缺陷数非严重缺陷数设计覆盖研发全周期、五种角色（业务/产品、开发、测试、运维）、分层的指标体系，端到端透明质量大盘质量左移质量右移1、指标不用于考核，仅用于改进2、指标

9、力求：有效 准 快3、用 结果指标 衡量好坏，宏观改进4、用 过程指标 发现偏差，及时修正5、先内（科技）再外（上游业/产）指标应用原则：统一生产问题定级标准现状：1.只有集团统一的两档事件定级标准，粒度粗、跨度大2.高级别事件发生概率小、一般级别问题无细化标准，科技各团队间问题定级不统一细化一般事件定级标准细化一般事件定级标准补充细化集团异常事件定级标准，形成寿险科技各团队间的问题定量认知对生产问题严重性分级，聚焦严重问题，深层、系统化改进XX跨行业跨行业YYA级事件（特别重大）略略NNN万元略略略略略略略略略B级事件（重大）略略MMM万-NNN万元略略略略略略略略略C级事件（较大）略略PP

10、P万-MMM万元略略略略略略略略略1级事件（有业务影响）2级事件（无业务影响）重大事件一般事件不满足以上条件的事件，此为最低级别，不会对公司的XXXX造成影响或影响较小且不会对公司的XXX构成威胁FFFFAAAAAAAABBBBGGGGHHHH影响条件 通用GGAAAABBBBCCCCDDDDEEEEBBBBXX团队团队AAAABBBBCCCCDDDDEEEEBBBBP1略略M万-Y略/M万-BP2略略Y-Z略/B-CP3略略Z-M略/C-DP4略略M-N略略D以下P5略略N-P略略/P6略P以下略略/P7略/略略/影响条件通用严重生产缺陷一般生产缺陷轻微生产缺陷略生产缺陷（损失定级）搭建研发

11、质效平台质慧平台数智化解决方案质慧平台数智化解决方案产品层产品层业务业务逻辑层逻辑层流程管理模块流程管理模块质效度量模块质效度量模块线上问题治理模块线上问题治理模块PA机器人机器人支持层支持层中间件中间件算法算法第三方基第三方基础础平平台台KafkaKafkaRedisRedis协同过滤协同过滤特征工程特征工程研发研发协作平台协作平台xxxxxx研发流程管理研发流程管理质效度量与洞察质效度量与洞察多维数多维数据查询据查询质量月度报告质量月度报告MySQLMySQL安安全开放平台全开放平台xxxxxxxxxxxxxxxxxx接接口自动化平台口自动化平台xxxxxxMongoDBMongoDBxx

12、xxxx聚类聚类/回归回归ClickhouseClickhouse流程协作报告流程协作报告门禁卡点门禁卡点发布审批发布审批流程编排流程编排风险画像风险画像质质效风险提醒效风险提醒线上问线上问题治题治理理线上问题同步与录入线上问题同步与录入统计分析统计分析复盘工单复盘工单数据同步模块数据同步模块登录鉴登录鉴权模块权模块寿寿险险研发管理规范研发管理规范软软件研发管理规范件研发管理规范集团集团ITIT开发管理规开发管理规范范研发标准流程规范研发标准流程规范寿寿险测试过程管理规范险测试过程管理规范需求管理规需求管理规范范质质量度量指标体系量度量指标体系生产生产缺陷定义分级标准缺陷定义分级标准线线上问题

13、根因定义上问题根因定义PA机器人机器人质效数据查询质效数据查询流流程任务操作程任务操作组织架构组织架构基础架构基础架构度量指标平台化管理注明：非真实数据生产问题平台化管理注明：非真实数据问题名问题名项目名称项目名称版本计划版本计划报告类型报告类型问题等级问题等级发现渠道发现渠道测试人员测试人员问题开始时间问题开始时间问题发现时间问题发现时间预计解决时间预计解决时间实际解决时间实际解决时间问题跟进人问题跟进人问题详细描述问题详细描述修复方案描述修复方案描述紧急回退线上试点版本，并推送更新回退到上一正式版，登陆失效问题待定位问题影响程度问题影响程度XXXX：暂未确定XXXX：0，无XXXXXXXX

14、：XXXXXX：2434XXXX：暂未确定李平安更新“爱平安”APP 6.20.1版本后体验正常，但第二天再使用时提示登陆态过期，无法重新登陆，始终提示登陆失败，并弹出到登陆页面，该版本为深圳机构试点版本。【登陆】登陆模块失效，反复拦截至登陆界面爱平安项目客户登陆AA-BBB-CC 7.07.10线上问题未确定主动发现-生产环境体验李平安 2023-7-12 0:002023-7-12 0:002023-7-122023-7-12 12:05李平安04深入应用：能有效发现问题的度量才是好度量质效数据驱动问题改进最佳研发实践规范化的协作流程、质效工具链的应用等研发最佳实践驱动改进制定改进措施，团

15、队个性化问题改进、科技整体的最佳实践研发规范的推广、质效平台的功能完善等质效度量采集并统计度量指标数据，呈现不同维度、不同阶段、不同角色的研发实践质效数据质效问题洞察针对异常度量指标数据，洞察分析找到问题原因优化驱动洞察采集度量数据流转关键节点度量指标数据 迭代过程问题分析线上问题Reivew 质量报告 质量月度沟通改进措施实施质量报告质量沟通迭代过程数据分析注明：非真实数据1月2月3月4月5月6月监控发现率0200040001月2月3月4月5月6月版本/特性数/缺陷数版本数特性数测试缺陷数0.00%5.00%1月 2月 3月 4月 5月 6月需求缺陷/变更率需求缺陷率需求变更率0.00%2.

16、00%4.00%6.00%8.00%1月 2月 3月 4月 5月 6月缺陷reopen率0.00%5.00%10.00%15.00%1月 2月 3月 4月 5月 6月严重缺陷率-L1/L21月2月3月4月5月6月提测质量冒烟测试执行率冒烟测试通过率准时提测率01月2月3月4月5月6月缺陷修复/验证时效缺陷修复时效L1缺陷修复时效L2缺陷修复时效L3缺陷验证时效L1缺陷验证时效L2缺陷验证时效L382.00%84.00%86.00%88.00%90.00%92.00%94.00%96.00%1月 2月 3月 4月 5月 6月一次发版通过率生产问题REVIEW机制132 复盘准入要素 专家评审 案

17、例抽象、提取、打标典型案例典型案例 问题相关方回溯 评估影响 澄清问题根因 产出改进方案 联合澄清联合澄清 问题渠道汇总 风险版本告警辅助识别问题录入与辅助问题录入与辅助漏斗与反向漏斗漏斗与反向漏斗正向：录入-澄清-案例反向：案例-关联-推广（规范）4 案例与线上问题关联 线上问题与案例匹配关联图谱关联图谱5 规范推广 案例警示 开发团队月度沟通 推广与反馈推广与反馈线上质量分析注明：非真实数据6月5月4月3月2月1月线上问题分布线上问题分布重大事件P1P2P3P4P56月5月4月3月2月1月线上问题线上问题验证拦截率验证拦截率6月5月4月3月2月1月线上问题根因趋势线上问题根因趋势开发设计用

18、例设计用例执行需求问题配置问题开发夹带第三方运营配置流程规范3-3-49-32线 上问题数变化线 上问题数变化1.69%1.75%2.02%1.13%2.45%1.92%生 产测试缺陷生 产测试缺陷比比趋势趋势测试缺陷生产缺陷比2.3%1.9%2.2%1.2%2.5%2.0%特 性问题密度特 性问题密度趋势趋势发布特性特性问题率构建质效分析报告质量月度沟通会review质效数据并制定改进措施2023-05-1014:0016:00李平安结论：项目经理在版本排期时尽量错开，避免多个项目同一天发版。6、意见&建议征集与讨论【李总】目前研发团队每个月会开展一次线上问题复盘会，挖掘线上问题根因和改进措

19、施，但尚缺乏从流程规范角度的思考，负责人重视程度不够，对生产问题没有足够的敬畏。关于生产问题定级，需要更慎重，考查角度可以更全面合理【小郭】测试需要跟开发对齐生产问题，保证理解一三、跟进项无【李总】关联系统的确存在不规范，以采购供应商，或服务级别低等为理由开脱。【小彭】需要将问题进行升级和追踪。4、项目人力投入情况分析与讨论【小彭】阐述重点项目测试人力投入情况，整体正常，暂无风险。【小郭】强调需要挖掘问题产生的根因，才能真正解决问题结论：针对分析平台的问题，需要从系统架构设计和流程规范角度做深层思考，并制定改善措施（如是否需要进行神兵空间拆分？）*缺陷reopen率有待进一步优化，需要注意加强

20、研发自测。*缺陷验证时长有明显改善。*生产监控发现率66.67%：共计3个生产问题，通过监控发现2个，使问题第一时间暴露和解决。3、线上问题分析与讨论一、会议议程1、往期跟进事项review2、度量指标数据分析与讨论3、线上问题分析与讨论4、项目人力投入情况分析与讨论5、流程/协作类问题分析与讨论会议纪要会议主题爱平安研发团队3-4月质量月度汇报会议时间会议地点AIPINGAN6665、流程/协作类问题分析与讨论【小李】3-4月新增1个问题，关于发版日过于集中带来的人力冲突风险。*讨论问题1：组件内存飙升，23:46进行重启，重启一直不成功，2点15后才启动恢复正常，期间影响客户身份识别。2、

21、度量指标数据分析与讨论*严重缺陷率中，爱平安项目分析平台涉及较多。提出分析平台严重缺陷多的原因究竟是什么？到底是研发质量问题？还是系统太庞大或设计不合理？需要深入分析原因来找到解决方案。6、意见&建议征集与讨论二、会议内容1、往期跟进事项review略参会人员郭平安，彭平安，谢平安，高平安请假人员无主持人记录人李平安质效报告整理质量月度沟通质效问题分析改进措施制定改进效果检视测试报告测试报告测试结论测试风险发布门禁发布门禁发布策略回归策略发布检查清发布检查清单单配置移交配置移交编译部署流水线配置测试测试CheckList生产验证报告发布评审发布评审生产部署生产部署发布验证发布验证迭代过程问题改

22、进-案例发 布 过 程 存 在的 各类 问题 导致 发 版意 味 着 熬 夜 加班，特 别是 新系统 部署 过 程 多 次 重复 发现 问题、修改、部 署、发 现 问题、修 改、部署 发布流程迭代优化发布流程迭代优化 发版发版=熬夜熬夜？过程过程指标异常检视指标异常检视存在安全检查遗漏-添加发布门禁存在发布检查遗漏-补充发布检查清单配置移交错误-全系统推动流水线部署覆盖遗漏验证点-完善回归案例集生产问题改进-案例从“坑”到“补”从“坑”到“补”反复出现的共性问题，挖掘共性问题的价值，并监控价值收益A团队某线上问题根因分析为“配置文件”问题次月再次出现类似问题升级专家评审，复盘改进措施合理性补充

23、配置更新规范制定存量配置梳理计划质效平台持续监控“配置原因”问题占比波动数据可汇总数据可汇总规范可制定规范可制定要求可推广要求可推广效果可追溯效果可追溯05获得认可：度量成为日常研发的晴雨表度量体系的推广及应用情况覆盖科技覆盖科技90+%开发团队05101520问题分类与进展已完成进行中持续跟进Xx月共形成71个改进项，问题解决率：73.24%开展20+次月度质量沟通 开展6次线上问题review，复盘52个问题度量指标数据的变化缺陷reopen率准时提测率严重缺陷率一次发版成功率度量指标应用场景拓展01质效改进02各级管理需求03工程师评奖04监测指标体系研发质效度量及改进各级管理者对质量情

24、况的整体了解、改进指导公司内工程师文化打造及荣誉评奖线上质量的结果指标应用于对各团队的研发质量监测未来规划-构建洞察分析模型&平台化1 研发过程数据2 指标数据3 指标数据分析4 分析结论泛化5 智库更新6 下钻的维度遍历与指标趋势匹配7 更高维度的结论抽象8 指标组合9 遍历组合分析数据并得出结论未来规划-线上质量风控发布版本监测发布版本监测针对生产环境重复部署重复部署，或者不符合常规发版节奏的临临时版本时版本审查，未关联问题录入的版本需澄清异常行为原因153271月份2月份3月份4月份5月份重复发版临时版本业务业务&运维告警运维告警与版本发布同步更新业务的运营告警指标运营告警指标、运维的异

25、常异常日志监控指标日志监控指标稳定期日志告警运营告警2023年5月A产品稳定性占比56%30%19%风险预警风险预警 基于前6个月份监控及告警趋势，结合发布版本、运营爆点和法定节假日等因素，预警下一个月份整体整体质量风险质量风险、高风险产品高风险产品及重要业务风险等级重要业务风险等级。核心业务质量整体质量风险（亮灯）预测指标预测指标注明：非真实数据系统性风险点2023全年各系统监控数据全年各系统监控数据未来规划-线上质量监控数据看板产品线产品线发布版本数发布版本数开发成本开发成本异常版本异常版本告警告警数数(C)质量评分质量评分产品A26632人天566产品B13340人天4276产品C489

26、81.5人天111,451产品D22748.5人天2315产品E25452人天2298注明：非真实数据未来规划-案例知识图谱质量质量活动共建活动共建和开发团队共同挖掘问题价值，拓展问题相关背景技术知识点、优化通用开发设计规范等1月份2月份3月份4月份5月份开发录入测试录入图谱结构建模图谱结构建模挖掘问题数据实体、属性与关系，构建案例图谱结构Schema层级结构56%30%19%注明：非真实数据案例检索与关联案例检索与关联根据案例属性与关联，为开发定位问题提供可快速关联相似问题的案例库，为问题定位及解决提供参考方案案例关联层次结构56%30%19%经验总结自身改进 横向对比广泛的沟通和宣导研发协作流程的在线化避免内卷，指标数据真实性和关联各方构建一致的目标，减少落地中的阻力协作规范性、工具链逐步平台化，助力提质提效经 验梳理团队现状及痛点逐步完善度量指标解决最痛的问题，证明有效，再逐步拓展不追求大而全，基于现状分阶段逐步完善感谢聆听关注QECon公众号