1、全面揭秘数字银行的质效提升之路董俊秋众安国际 质量管理专家 个人简介 CMMI 软件成熟度评估师、Scrum Master、EPG 过程改进专家、云从业者 曾任腾讯高级质量管理工程师、中兴智慧城市质量经理 涉及行业：ToB、ToC、云产品、金融、医疗、教育、通讯、人工智能 擅长领域：度量分析、质量建模、过程改进、研发效能度量董俊秋众安国际 质量管理专家 目录CONTENTS背景介绍背景介绍:痛点及问题痛点及问题01 全流程质量体系建设全流程质量体系建设02 全链路质效度量探索及实施全链路质效度量探索及实施03 智能质效管理平台建设智能质效管理平台建设04 成果及展望成果及展望05 01背景介绍

2、背景介绍:痛点及问题痛点及问题背景介绍：关于众安01.22取得证监会证券交易牌照03.20对外开业05.20取得香港人寿保险牌照09.20取得保险经纪执照03.21推出企业银行业务08.22基金业务启动03.19 取得香港虚拟银行牌照300Kusers20022100Kusers600Kusers04.22&05.21&保险转账贷款卡存款股票基金一站式综合金融平台(2023.H2推出)650Kusers正式上线香港第一虚拟银行【研发】代码修改影响范围不确定，bug生产逃逸率高祖传代码不敢改，代码越来越臃肿，导致问题更多且可维护性差代码过于复杂，写单元测试耗时较长【测试】提

3、测不及时，挤压测试周期，导致测试不充分，存在漏测风险提测质量差，开发自测不充分，测试反复驳回，浪费人力成本且拉长交付周期质量问题效率问题一、研发各阶段全面质量左移持续推行小批量集成，快速迭代，提早识别质量风险降低单测代码编写难度，提升单测覆盖率提升自动化测试覆盖率，减少人工测试漏测风险，降低人工测试投入成本启用蓝绿发布体系，将线上异常监控前置至发布阶段二、数据驱动改进设置上下游关键卡点指标启动质量月会数据晾晒及下钻分析搭建全链路质效监控平台，重点关注质量与效能改进效果启动事件闭环管理机制制定故障升级、定级定责制度搭建事件管理平台全链路跟踪事件触发事件处理事件关闭全过程事后闭环事前事中拦截【业务

4、线痛点】线上生产问题多，逃逸率高需求排不上，交付周期长【业务目标】又快又好背景介绍：痛点及问题02全流程质量全流程质量体系建设体系建设产品产品开发开发用例设计手工用例执行测试测试蓝绿发布运维运维互联网银行敏捷开发模型QA介质检查事件闭环管理异常监控质效监控、度量分析、质量诊断系统设计需求设计功能开发、单元测试、CR自动化测试脚本编写自动化测试(新需求)自动化脚本合并研发过程质量管理线上质量管理现现 网网 需求阶段需求阶段 开发阶段开发阶段 测试阶段测试阶段 发布阶段发布阶段KT评审通过冒烟通过测试通过发布成功自动化测试(原有功能)全流程质量体系建设(全景图)03全链路质效度量全链路质效度量探索

5、及实施探索及实施线上管理研发过程管理度量可视化质量运营工具自动化2020202120222023正式上线 搭建线上管理流程体系 引入线上管理工具 启动线上度量分析(质效)搭建研发过程管理体系 引入研发过程管理工具 启动研发过程度量分析(质效)建立度量可视化平台 实现自助化质效诊断 打造自驱式质量管理落地质量左移持续集成形成标准质量运营机制全链路质效度量探索及实施确定度量目标设计度量指标业务线试点软件成熟度，所处阶段度量成本和预期度量效果评估者的视角度量实施的复杂度统计口径评审第一轮：质量指标(结果性指标)第二轮：效能指标阶段指标名称第一轮故障数定级故障数系统可用性监控告警率改进措施数改进措施延

6、期率改进措施关闭率第二轮发现问题平均时长定位问题平均时长处理问题平均时长整体恢复平均时长故障平均修复时长全链路质效度量指标探索：线上全链路质效度量指标探索：研发过程内l评估试点指标l评估试点业务线第一轮试点(2022.H1)北极星指标第二轮试点(2022.H2起)全过程指标交付价值产品价值达成率客户满意率交付速率需求吞吐量(流速率)产研交付周期缺陷修复周期(致命严重、一般、轻微)交付质量缺陷逃逸率系统可用性故障数平均故障恢复时长数据晾晒、异常分析宣贯培训、启动试点未达标TOP团队下钻分析全链路质效度量指标实施改进项闭环跟踪全链路质效度量指标实践：线上事前事中处理事后跟踪闭环故障根因(技术根因及

7、非技术根因)事件细节(关键处理动作及时间线)影响范围改进措施(识别思路)【执行过程】引入、测试、验收、评审、决策管理【流程建设】流程健全性、流程执行有效性【处理时效】发现时长、定位时长、处理时长(短期止损、长期修复)识别根因制定后续规避措施告警触发，值班群通知排查拉起事件处理群，第一时间恢复线上拉起故障复盘群，查找根因，避免事件二次发生改进诉求：1）降低生产问题数，避免同一问题二次发生2）快速恢复线上业务，缩短故障恢复时长实际案例：某业务线 质量效能下钻分析【效能分析】故障恢复耗时较长top主要原因：u2月 XXXXX事件二线确认环节耗时(结单方案需要HK风控确认)；2）结单重跑数据耗时，故处

8、理问题耗时较长(xxxmin)u3月 XXXXX事件xxx监控策略失效未触发告警，客户感知不明显未引发共性反馈，故发现问题耗时较长(xxxmin)u3月 XXXXX事件研发同学第一次定位问题结论有误，后第二次定位才找到故障原因，故定位问题耗时较长(xxxmin)u6月 XXXXX事件非功能不可用，紧急程度较低，决策后确定纳入0705迭代中发布，故处理问题耗时较长(xxxmin)【质量分析】逃逸生产问题分析：u【支付域】XXXXX问题【原因分析】测试用例对需求的覆盖面不全，考虑不足【后续规避措施】提高用例细致以及明确程度，保证用例覆盖范围，提高测试用例覆盖率u【支付域】XXXXX问题【原因分析】

9、从实现逻辑评估，研发改动不会涉及xxx普通转入，在未收到研发改动影响提示下，回归案例仅覆盖xxx普通转入主流程【后续规避措施】1)xxx普通转入接口自动化用例，失败结果增加检查点，检查xxx上报的xxx含有主关联关键字+状态未失败；2)组内周会复盘分享u【活动域】XXXXX问题【原因分析】测试用例对需求的覆盖面不全，考虑不足【后续规避措施】测试用例设计需覆盖异常场景,增加场景用例到CML全年逃逸率降低至2.13%(上年度逃逸率:4.26%)荣获线上质量奖，Q1季度所有线上问题均在30分钟内解决全链路质效度量指标实践：线上全链路质效度量指标实践：研发过程内某业务线试点：提升集成成功率【实施方案】

10、制定初步集成异常试行规则 质量月会中进行全员宣导，启动试点 集成异常指标接入质效监控平台 启动异常数据监控、异常提醒 试行期改进建议收集，规则调优 数据晾晒、异常分析，驱动改进试点业务线宣导质量月会数据晾晒集成异常：单次集成变更1000行以上(试行)，则初步判断为异常集成异常TOP10：单次集成变更代码行最大TOP10升级方式：每周五【集成异常TOP10】邮件推送至 XXXX试点建议收集集成异常：集成变更1000行以上/次或集成次数超过3次/天(试行)，则初步判断为异常则规则持续调优触发异常提醒无规则第1阶段试点规则第2阶段试点规则2022.11-2023.5全链路质效度量指标实践：研发过程内

11、某业务线试点：提升提测及时性及有效性【实施方案】规划上下游关键卡点的度量指标研发交付周期、提测及时率、提测一次通过率启动度量指标培训及试点 依据第一批试点的基线数据设定初步目标值，针对未达标指标驱动下钻分析 未达标TOP质量月会晾晒度量指标规划【效率提升】自2022年11月起稳定保持在15个工作日左右(2022.10前：20工作日+)宣贯培训、启动试点未达标TOP团队下钻分析全链路质效度量指标实践：研发过程内某业务线试点：提升单测覆盖率【实施方案】启动单测宣导及培训 制定单测覆盖率目标，并纳入OKR 接入代码健康度看板，实时观察覆盖情况 未达标TOP排行榜展示(职场大屏、质量月会)数据晾晒、异

12、常分析，驱动改进(待纳入)单测宣导及培训未达标TOP排行榜接入代码健康度看板行覆盖率：50%(第一阶段目标)分支覆盖率：60%85%(暂未启动，预估值)函数覆盖率：100%(暂未启动，预估值)单测覆盖率目标u业务线指标设置原则：改进为主，问责次之，鼓励式驱动全员质量自主性全链路质效度量指标实践：研发过程内70个应用服务单测覆盖率高于50%集成成功率 2022 55.6%2023(当前)76%96.27%的应用服务Sonar问题数(阻断及严重)为0实际案例：某业务线 研发过程度量下钻分析04智能质效管理智能质效管理平台建设平台建设u我是战术沙盘，也是风险雷达过程、产出看的见，决策所需我都有，助力

13、“排兵布阵”，促进成本管理和资源匹配风险预警、协作阻塞，统统帮你发现管理者执行者组织管理u工作更高效，产出更高质过程透明，问题直观，持续改进，不断提升疏通上下游拥堵，减少工作并行，工作更专注u建立有效的自管理生态通过团队自组织与自管理更大程度激发成员主观能动性，释放更多创造力长远视角下，组织整体的管理成本将大幅下降让过程可见，让问题透明，让改进持续KO会，目标对齐2022.9.192022.10.112022.10.142022.10.20研发效能度量体系建立效能度量白皮书初稿评审开发进度评估输出整体项目计划效果展示定稿Demo验收测试2022.11.10二期上线 (全量指标体系)生产验收 一

14、期上线(北极星指标)2022.12.10智能质效管理平台建设(V1.0)：目标和计划【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送质效管理平台智能质效管理平台建设(V1.0)：效果展示智能质效管理平台建设(V1.0)：效果展示u亮点一【趋势观测】支持数据环比、数据同期比，可实时观察研发全过程走向及趋势 分析维度：迭代、业务线、一级域常用角色：业务线领导、PM、一级域leader

15、智能质效管理平台建设(V1.0)：效果展示u亮点二【追根溯源】支持数据下钻，实现一键追溯原始数据，精准定位异常数据 分析维度：迭代、业务线、一级域常用角色：PM、一级域leader、一线工程师故障台JIRA智能质效管理平台建设(V1.0)：效果展示u亮点三【指标自助】针对不同的关注重点，提供指标自配功能，所有复合指标均可自由定制常用场景：多业务线，可根据不同业务线的成熟度进行指标的裁剪优化智能质效管理平台建设(V1.0)：效果展示u亮点四【风险预测】实时监测质效心跳，实现质量风险预警，质量异常推送健康度级别规则上升机制异常推送范围推送方式高健康度分级表异常处理人、QA、PM邮件推送群提醒直属l

16、eader/所在一级域架构师、QA、PM中低业务线研发总监、运维总监、QA、PM质量指标【集成异常】效能指标【生产问题处理时长】系统自动化对指标数据扫描检查快速分诊高健康度中健康度低健康度诊断建议团队复盘轻量建议经验沉淀数据分析定制改进方案人工诊断改进效果评估指标项指标定义健康度分级自动检查频率高中低需求交付周期需求从等待KT至需求发布上线的时间周期10个工作日10个工作日15个工作日15个工作日迭代/次产研交付周期研发启动需求开发至需求发布上线的时间周期8个工作日8个工作日12个工作日12个工作日迭代/次集成异常1）单次/人 提交峰值超过1K行2）单日/人 集成次数超过3次代码行集成次数=1

17、次待评估代码行1K集成次数3次天/次线上逃逸率生产环境出现的问题数(含故障)/线上线上有效问题总数1%1%3%3%迭代/次月度/次线上缺陷密度(计划2022.H2新增)统计周期内，生产环境出现的问题数(含故障)/交付上线的需求数待评估待评估5%迭代/次月度/次健康度分级、健康度检查*快速分诊及质量诊断两大板块建设中(计划2022.H2上线)智能质效管理平台建设(V1.0)：目标和计划智能质效管理平台建设(V1.0)：效果展示全局诊断质效概述简报北极星指标本期新增指标趋势环比同期比线上、迭代、团队智能质效管理平台建设(V1.0)：效果展示线上质效迭代质效团队质效质效数据看板趋势环比同期比低健康度

18、预警定位诊断智能质效管理平台建设(V1.0)：效果展示人工诊断建议推送共性问题诊断卡片推送健康度扫描预警05成果及展望成果及展望年度故障数环比同期下降71%(减少xx个)2022.4月、5月连续两个月故障清零(首次)全年无P1-P3级故障全年系统可用性达99.95%+70个应用服务单测覆盖率高于50%96.27%的应用服务Sonar问题数(阻断及严重)为0集成成功率 2022 55.6%2023(当前)76%上线前成功拦截有效bugxxxx个全年逃逸率降低至2.13%(2021逃逸率:4.26%)60%+的bug在1个工作日内修复完毕持续交付 提升工程能力保障质量 用户体验为王年度战果质效提升

19、成果展示质效提升成果展示2022年度质量效能喜报2022年度线上质量奖2022年度研发过程奖质量3.0度量指标自动化，指标自助化，人人关注指标，人人用好指标。诊断深入不同的Feature Team，针对性的设立改进方案，好则推广，差则改进。一体化串联单点工具，持续打磨体验，一站式完成所有工作，质量无处不在。质量2.0故障台所有质量管理工作线上化，自动拉群，自动周知，自动跟催。质量左移推进单测、CR、自动化测试落地，质量左移，尽早暴露问题。持续集成小批量更新，持续集成，全面落地流水线和质量门禁，内建质量。质量1.0流程重构重构流程，二次发布，形成共识，规范化研发、质量、变更、应急响应。明确奖惩明确定级机制，设立质量奖项，有奖有惩，意识提升。工作闭环深度复盘，强跟进改进措施落地，闭环工作，持续改进。下一步展望下一步展望持续改进之路，需要大家的支持，期待更多的交流众安国际技术公众号感谢聆听关注QECon公众号