1、自动化工厂执行结果智能分析Carol目录CONTENTS背景介绍01 痛点解决思路02 自动化执行结果智能分析实践03 落地效果与规划04 01背景介绍当前测试验收流程CodingBuildingBetaGammaAlpha变更上线线上服务DesignDevOps需求分析自动化测试桩开发自动化执行结果分析高保真分析控件定义自动化用例开发手工用例测试（性能/功耗/稳定性/兼容性/等）自动化拨测可见，自动化执行结果分析耗时，已成为测试活动中影响版本迭代效率的重要痛点结论接口契约分析自动化门禁5min2H自动化执行25H与编码同步与下个迭代编码同步耗时测试活动研发流程测试设计测试分析现状痛点分析自动

2、化资产庞大为何耗时总用例数10000*（1-成功率95%）*每条用例分析时间 3min=25H综上，拿一个APP服务的一次分析任务耗时举例：1W+条自动化用例数量的测试服务已是屡见不鲜，即使保持在较高成功率，失败用例数量也无法满足每日分析的要求无法快速识别到高优先级失败用例，导致所有失败逐个分析无高效的失败分析策略01关键BUG不能第一时间发现02人力投入大，收益低03BUG生命周期延长04迭代后期改单压力大测试分析现状痛点分析无差别的失败分析策略，导致最严重的bug可能在最后发现多数自动化失败原因非版本bug，可能为环境、用例或脚本、工具等非问题测试分析耗时久，无法对每日构建版本进行分析测试

3、分析滞后，bug在版本后期集中暴露，临发布前集中改单当前自动化分析效果如何？02痛点解决思路痛点解决思路主干每日构建BUG1BUG2BUG3BUG4发布测试分析BUG1/2/3/4beforeafterBUG1提单主干每日构建版本无法当天完成测试分析，BUG无法及时发现主干自动化每日持续构建，引入问题快速发现每日构建每日构建当天引入当天暴露当天修复发布测试具有智能分析手段，能优先识别出版本问题导致的执行失败思路BUG2提单BUG4提单BUG3提单基于可预见失败类型匹配的智能分析基于历史用例分析结果的算法预测智 能 分 析方 法智能分析方法智能分析结果：版本问题、工具问题、环境问题学习、建立模型

4、、预测根因关键场景匹配03自动化工厂执行结果智能分析实践智能分析实现流程综上：实现版本周期内的问题发现前移和测试效率提升主干每日构建版本发布版本智 能 分 析应 用 策 略应用策略目标：小投入，大收益a.每日清理版本问题，分析范围减少的前提下，实现问题发现前移；b.按计划清理环境问题、工具问题等等分析自动化失败用例全集，兜底前期因置信度误差导致问题遗漏智能分析方法-规则匹配规则匹配：用于可预见的失败场景，通过测试数据关键字匹配，实现智能分析步骤一、提取可预见的失败场景步骤二、失败场景关键业务信息转化到执行日志步骤三、总结规则、按优先级录入，版本问题优先识别智能分析方法-规则匹配规则匹配：用于可

5、预见的失败场景，通过测试数据关键字匹配规则，实现智能分析版本问题Crash问题：如crash reason手机帐号环境异常：如HWID:Loginfailed云手机掉线：如uiautomonitornot connected典型规则举例环境问题工具问题正向分析：测试场景设计逆向分析：失败用例TOP原因分析步骤一、提取可预见的失败场景逆向分析：缺陷单分析分析手段智能分析方法-规则匹配规则匹配：用于可预见的失败场景，通过测试日志关键字匹配规则，进行智能分析APP业务信息转化手段举例步骤二、失败场景关键业务信息转化到执行日志业务日志提取接口请求提取界面元素提取自动化日志报错信息汇聚智能分析方法-规则

6、匹配规则匹配：用于可预见的失败场景，通过测试日志关键字匹配规则，进行智能分析步骤三、总结规则，按优先级录入，版本问题优先识别智能分析方法-模型匹配模型匹配：通过算法，学习历史测试分析的数据，建立模型，从而预测新用例的失败原因步骤一、固化报错特征步骤二、历史测试数据分析积累步骤三、就近溯源矫正，提升置信度智能分析方法-模型匹配模型匹配：根据历史测试分析数据，预测新用例失败原因步骤一、固化报错特征智能分析方法-模型匹配模型匹配：根据历史测试分析数据进行模型训练，预测自动化用例失败根因步骤二、历史测试数据分析积累智能分析方法-模型匹配模型匹配：根据历史测试分析数据进行模型训练，预测自动化用例失败根因

7、步骤三、就近溯源矫正，提升置信度混淆矩阵训练单任务溯源训练训练途径35%-60.8%04落地效果与规划效果演示案例：发布版本关键失败BUG第一时间发现，减少问题版本的无效测试投入。失败分析策略依据 AI快速拦截版本crash、接口请求等问题，典型案例如：1、发布版本A：DTS202206080XXXX【新引入】论坛发贴，选择图片，发生crash。2、发布版本B：DTS202207200XXXX【新引入】首次启动游戏中心未触发上报pushtoken接口。效果演示案例：减少低价值失败用例的分析投入，实现每日构建分析模板测试投入小，收益大 原每个迭代每日构建版本测试效率：20天*18人*4H=180人天 现每个迭代每日构建版本测试效率分析：20天*18人*0.5H=22人天-拿现有项目举例，一个迭代提升测试效率100+人天举例智能分析单规划支持多维支持多维测试数据测试数据模型矫正模型矫正提升置信度提升置信度Please add your text content 通过混淆举证、AI溯源，持续提升模型准确度，提升智能分析准确性尤其是支持结合业务日志进行智能分析，实现更智能，更准确感谢聆听关注QECon公众号