1、基于风险驱动的交付模式转型探索与实践2023.03/黄佳鑫分享纲要1、风险驱动交付模式源起-百度交付现状&挑战&破局2、风险驱动交付模式构建技术 2.1、模式介绍-何为风险驱动交付 2.2、模式建设-质量风险决策系统 2.3、模式应用-无人值守建设和落地3、未来展望风险驱动源起风险驱动源起百度交付现状百度交付现状随着工程能力的不断提升，交付模式逐步完成从纯手工测试自动化测试持续集成持续发布的演变。通过将自动化测试工具集成到流水线中，质效工作逐步左移，研发可以通过流水线完成测试、上线工作。本地开发分支测试QA 评估评估M1Branch绿灯通过绿灯通过Approve 手动手动合入主干从主干 拉分支

2、开发主干测试绿灯通过绿灯通过M2RB发布测试绿灯通过绿灯通过QA 评估评估发布发布MasterMasterM3QA 评估评估从主干 拉分支发布 集群编译：15分钟 静态代码检查：20分钟 单元测试：10分钟 Diff测试：50分钟 性能测试：60分钟 功能测试：40分钟执行执行约花费约花费1 1小时小时 集群编译：15分钟 静态代码检查：20分钟 Diff测试：50分钟 性能测试：60分钟 功能测试：40分钟执行执行约花费约花费1 1小时小时实时和daily执行 集群编译：15分钟 性能测试：5个小时执行执行约花费约花费5 5小时小时分支开发、主干合入、分支发布交付模式 月需求万级，关联bug

3、占比20%；构建百万级，关联bug占比1%，较多较多冗余冗余执行执行 3阶段执行耗时小时级，但交付周期天级粒度，人工评估和扭转拉长周期人工评估和扭转拉长周期 线上百级个bug漏出，测试和准出能力不足测试和准出能力不足问题风险驱动源起风险驱动源起百度交付挑战百度交付挑战&破局破局挑战挑战RD和QA质效心声现状剖析破局思路破局思路针对性测试精准评估极致质效风险风险驱动驱动测试本质是减少bug发生的可能性(风险)和产生的影响以风险驱动，测该测的测该测的，评风险评得准评风险评得准，达到质效最优非所有项目都有风险非所有项目都有风险，80%+无关联无关联bug和线上问题和线上问题不是所有测试任务都能揭错不

4、是所有测试任务都能揭错，固化冗余测试占比高固化冗余测试占比高测试人员也有误判的可能测试人员也有误判的可能，漏测一直存在漏测一直存在风险驱动交付风险驱动交付模式介绍模式介绍何为风险驱动何为风险驱动基于风险驱动解决思路基于风险驱动解决思路风险驱动交付风险驱动交付模式建设模式建设质量风险质量风险决策决策系统系统(核心风险识别核心风险识别、风险控制和风险决策风险控制和风险决策)-风险识别-风险控制-风险决策风险可视化&闭环报告风险数据决策结论反馈意见代码动静态风险画像原始代码AST语义分析动态风险点识别动态风险点识别深度算法识别项目风险画像人员风险画像风险风险控制控制功能功能测试测试性能性能测试测试灰

5、度灰度监控监控分级分级发布发布策略策略测试测试稳定稳定性测性测试试风险追踪Cover性能稳定性影响风险点&概率业务影响评估结论评估结论，流转流转&推荐推荐风险可视化报告风险可视化报告风险闭环风险闭环bug反馈反馈优化优化路径路径提取提取特征特征提取提取模型模型迭代迭代模型模型上线上线人工人工反馈反馈构建质量构建质量决策决策系统，机器自动识别风险，执行系统，机器自动识别风险，执行该执行的该执行的测试活动，自动决策风险，自动流程流转测试活动，自动决策风险，自动流程流转模式建设模式建设风险识别风险识别建立识别能力建立识别能力，打通数据血缘关系打通数据血缘关系，量化风险量化风险人员信息人员信息项目信息

6、项目信息代码代码信息信息提测单提测单id测试信息测试信息千行bug率项目熟悉度高危场景高危片段提测打回数线下bug数线上bug数Bug信息信息变更变更影响影响卡片卡片id变更行数变更函数变更文件数圈复杂度高危代码影响接口影响页面影响场景影响端执行数据执行数据充分度数据充分度数据执行结果成功率Error类别参数组合单参数路径覆盖代码覆盖commitidpipelinetidjobid流水线流水线id关联枢纽关联枢纽开发时长变更次数模块数是否联调用户密度问题密度拦截能力业务指标历史bug用户路径采集什么数据采集什么数据？如何采集数据如何采集数据？怎么串联数据怎么串联数据？模式建设模式建设风险控制风

7、险控制针对识别风险针对识别风险，给出执行建议和充分度评估给出执行建议和充分度评估智能构建智能构建精准测试精准测试充分度评估充分度评估自动生成自动生成执行哪些测试执行哪些测试？如何执行测试如何执行测试？测试质量如何测试质量如何？模式建设模式建设风险控制之智能构建风险控制之智能构建精简精简、自动标注和自愈流水线任务或阶段自动标注和自愈流水线任务或阶段从几个场景说起从几个场景说起function A()if gflag3 B()function B()if gflag2 if gflag1 code diff;1、函数调用关系 A B2、开关依赖关系 gflag3 gflag2 gflag13、开关

8、链路状态 false true true 4、变更所属开关 code diff gflag1场景一场景一、孤岛函数孤岛函数，diff代码无法进入代码无法进入场景二场景二、简单改动简单改动，local和和trunk都跑都跑 问题问题1:简单修改，孤岛，有必要跑那么多测试？特别是高资源和时间消耗的性能任务 问题问题2:同一次提交，local和trunk的任务都一样，是否多余 问题问题3:任务偶发抖动失败，定位原因耗时，能否自动重跑，自动定位原因问题分析问题分析解决方案解决方案构建策略构建策略精简策略精简策略跳过跳过取消取消结果复用结果复用自动标注策略自愈策略跑需要跑的跑需要跑的，跟进需跟进的失败跟

9、进需跟进的失败落地效果落地效果策略策略效果效果精简任务量6w+/Q自愈任务量8k+/Q智能构建决定应该执行哪些测试，节省流水线构建时间#原始代码原始代码 if(NULL=_p_adx_1|NULL=_p_adx_2)return false;#变更代码变更代码 if(NULL=_p_adx_1|NULL=_p_adx_2)ADX_WARNING(_p_adx_1 or _p_adx_2 is NULL);return false;模式建设模式建设风险控制之精准测试风险控制之精准测试以更以更少少的用例的用例，达到更多的达到更多的问题问题召回召回精准测试决定应该如何进行测试，执行哪些用例。前端AP

10、P单产品回归用例1500+，总量9w+，单次回归约3天，可接受时间1天内 后端系统线上引流百万级，全系统任务最多发送十万级，子系统测试可接受2万冗余冗余 or 缺失缺失？用例与代码关系建立基于相关性用例推荐基于风险用例推荐用例排序文件级bug模型文件风险特征采集聚合分类模型Diff信息产出diff相关的风险文件采用相关性用例推荐落地效果落地效果策略策略效果效果手工用例选择落地业务：20+压缩率：80%回归耗时下降:56%系统流量选择落地模块：100+压缩率：70%测试耗时压缩：50%召回bug：200+插桩编译代码库用例回放分析用例覆盖信息用例与分用例与分支关系支关系用例与函用例与函数关系数关

11、系用例与文用例与文件关系件关系最大覆盖用例公共方法过滤黑名单过滤模式建设模式建设风险决策风险决策思路介绍思路介绍获取数据获取数据特征工程特征工程模型开发模型开发检验评估检验评估模型上线模型上线监测标注监测标注决策方案决策方案基于启示，方案基于规则规则+模型模型+影响影响进行量化决策闭环闭环披露风险点给出测试建议给出给出风险发生概率风险发生概率规则规则模型模型决策决策影响Pv、收入等收入等识别风险识别风险，并并控制控制，如何给如何给出决策结论出决策结论？身体体检身体体检风控放贷风控放贷场景借鉴场景借鉴类别类别体检项体检项内科心率、脾胃等实验检查甲功、肾功等待就诊待就诊 待复查待复查 待关注待关注

12、不同群体，不同体检单规则决策考虑危害排序考虑危害排序偏专家经验，规则化决策银行风控放贷银行风控放贷黑名单规则特征特征贡献分贡献分年龄200收入300信用分信用分650评分卡模型、信用分策略决策不授信不授信 可授信可授信 授额度授额度专家经验+风控模型的组合决策模式建设模式建设风险决策之风险概率模型风险决策之风险概率模型从历史数据自动学习“经验”，预测未来模型选型模型选型实验一实验一：以业务以业务测试数据验证效果测试数据验证效果AUC衡量分类好坏。TOP-5算法是AdaBoost、NB、LR、MLP和XGBoost，逻辑回归逻辑回归(LR)模型效果前列模型效果前列实验二实验二：模型需要可解释模型

13、需要可解释LR契合人工判断的方式，可解释性较好，而其余4个都不行LR属于简单模型快速，不容易出现过拟合，Boost和MLP较复杂，对数据需求高综合上述综合上述3点点，选择逻辑回归作为分类模型选择逻辑回归作为分类模型 逻辑回归是找到从特征空间到输出空间最优线性映射函数，形如：z=0+1 1+2 2+3 3+4 4+b 实验三实验三：质量数据量较少速度要求高质量数据量较少速度要求高，模型不能太复杂模型不能太复杂是否有风险是否有风险，风险概率大小本质上是一个二分类算风险概率大小本质上是一个二分类算法法，具体选择哪一种具体选择哪一种？模型特征模型特征风险引入项目风险指标人员风险指标代码风险指标影响风险

14、指标风险移除测试充分度监控完备度模型效果模型效果ROC曲线/AUC面积准确率准确率/召回率召回率/F1测度正确率正确率/错误率模式建设模式建设风险决策之决策结论风险决策之决策结论量化决策，助力自动流程流转测试本质是规避风险测试本质是规避风险，减少风险发生概率和发生问题造成的危害减少风险发生概率和发生问题造成的危害，而风险矩阵而风险矩阵是一种综合两者的风险评估分析方法是一种综合两者的风险评估分析方法：伤害事件发生可能性极大，任何情况下都会重复出现拦截：经常发生伤害事件。拦截：有一定的伤害事件发生可能性，不属于小概率事件。拦截：有一定的伤害事件发生可能性，属于小概率事件。视情况：会发生少数伤害事件

15、，但可能性极小。通过，无人值守：不会发生，但在极少数特定情况下可能发生通过，无人值守问题发生产生的危害问题发生产生的危害风险发生问题的概率风险发生问题的概率基于风险矩阵基于风险矩阵，进行决策进行决策模式建设模式建设风险报告举例风险报告举例模式建设模式建设架构图架构图打造通用工程和策略，管控流程和数字化度量，低成本赋能风险驱动交付风险驱动交付模式应用模式应用无人值守建设(完备测试、稳定构建和精确评估)本地开发分支测试M1Branch绿灯通过绿灯通过低风险自动低风险自动 分支合入主干从主干 拉分支开发主干测试绿灯通过绿灯通过M2RB发布测试绿灯通过绿灯通过风险决策风险决策发布发布MasterMas

16、terM3风险决策风险决策从主干 拉分支发布风险决策风险决策流程拦截QA补充测试QA确认通过手动流程流转高风险低风险无无QAQA跟进，跟进，自动流程流转自动流程流转风险评估风险评估全流程无人全流程无人(QA)值守值守完备测试能力完备测试能力稳定构建能力稳定构建能力精确评估能力精确评估能力 性能测试：跳过 Diff测试：30分钟 功能测试：20分钟 Diff测试：结果复用 功能测试：结果复用 性能测试：结果复用精准测试精准测试112333智能构建智能构建落地效果落地效果带来测试思维的变革，质量和效能提升明显Q共识别1.1w+可自测项目，自测占比60%；无人值守项目占比达25%Q精简任务6w+，约

17、减少2.88wh执行；压缩用例70%+，测试执行时长降低50%+Q共识别3k+不可自测项目，共拦截500+bug低风险项目低成本 高效交付 降低冗余测试任务/用例 量化风险减少bug漏出0总结总结&展望展望由机器代替人工自动由机器代替人工自动、深度决策深度决策，实现风险驱动交付实现风险驱动交付分阶段需求发起分阶段需求发起测试行为推荐测试行为推荐/预警预警下阶段自动自动/半自动测试执行半自动测试执行，充分度评估充分度评估质量风险质量风险决策系统决策系统准出风险决策准出风险决策低风险需求准出集成准出灰度准出分级准出申请测试返回测试活动返回测试活动、测试用例测试用例高风险流程拦截流程拦截分配分配QA跟进跟进补充测试补充测试/用例用例请求决策返回风险分和点返回风险分和点，建议和推荐建议和推荐QA1、测试前测试前(风险识别风险识别):识别风险，推荐/预警活动和用例2、测试中测试中(风险控制风险控制):定向风险执行，前置拦截3、测试后测试后(风险决策风险决策):决策风险，给出建议，自动扭转建议建议测试测试决策决策通过不通过，打回RD修BUG请求建议