1、DevOpsDevOps持续测试持续测试标准驱动企业交付质量飞跃标准驱动企业交付质量飞跃中国信息通信研究院 云计算与大数据研究所 白瀚雄DevOps时代社区 郑欣传统测试vs持续测试DevOps持续测试标准介绍测试现状与标准要求总结传统测试vs持续测试外界看测试团队的未解之谜外界看测试团队的未解之谜效能谜团效能谜团团队进行了长期的自动化建设投入，但是并没有在效能方面获得显著的收益01缺陷谜团缺陷谜团团队依靠自动化脚本发现的问题并不多，大量问题的发现还是依赖人工操作02质量谜团质量谜团测试人员越来越多，但是线上质量并没有越来越好03管理谜团管理谜团工作流程中仍然无法规避过多的人工卡点，人工智慧和

2、经验无法复用。宝贵资产随人员流动而流失04偏见谜团偏见谜团人们常常认为，质量是测试部门的事情，和其他角色无关05发展谜团发展谜团测试组织、人员、流程、技术该向何方发展？06经验和知识依托于个人，没有成为有价值的组织能力01.01.经验和知识经验和知识测试过程难以度量，需求覆盖率、代码覆盖率，缺陷密度等指标无法得到准确数据04.04.测试度量测试度量测试流程不连贯，过多的人工卡点造成流程效率低下02.02.测试流程测试流程工具平台能力无法集中赋能，有重复建设和局部能力支撑不足的情况05.05.工具平台工具平台变更应对能力弱，用更多的全量回归防止质量回退，耗时耗力03.03.变更应对变更应对受制于

3、上下游局限，无法有效通过测试左右移，完成有效的全阶段测试工作06.06.测试左右移测试左右移测试团队自身的困惑DevOps时代，软件全生命周期中最影响产品交付的环节就是软件测试，测试是对交付效率和质量的重要保障。据调查显示，超6成项目认为测试是影响交付的最重要环节之一。32%16%22%63%21%23%30%0%10%20%30%40%50%60%70%开发编码单元测试持续构建集成测试持续集成部署发布持续改进 影响产品交付的主要软件研发环节来自：敏捷测试白皮书（2020）测试不仅能发现项目本身潜在的风险，对于交付的风险也逐渐被测试人员和项目负责人发现，测试对于交付的风险类型包括对于交付时间、

4、交付质量、业务安全的风险。识别测试风险，控制测试风险成为了测试人员另一项主要工作。测试主要是在效率和质量控制方面影响交付。据DevOps现状调查报告调研，仍有52%以上的项目在测试阶段用时接近或超过一半的迭代时间。测试整体风险79%79%测试时间风险70%70%测试质量风险48%48%测试安全风险41%41%当前，已经有接近8成的测试人员意识到测试的风险，7成测试人员能够主动识别的测试风险是时间风险，即测试时间影响交付的效率。来自：中国DevOps现状调查报告（2022）传统测试中，测试从开发提测后开始，缺陷从集成阶段被发现和修复。间隔较长的反馈周期，造成系统修复成本居高不下。传统测试阻碍系统

5、修复成本的下降传统测试导致缺陷集中爆发、发现较晚传统测试中，测试阶段通常发生在开发阶段后，所以缺陷出现较晚，在集成阶段集中爆发。这还导致产品缺陷随着迭代而大幅度波动，这导致缺陷总是集中爆发，集中修复，无法实现缺陷预防的。软件研发相关的测试活动发展至今，经历了三个主要阶段：发展阶段发展阶段：上世纪80年代到本世纪初，以瀑布模式瀑布模式为主 系统和集成测试耗费了大量时间和成本 以手工测试手工测试为主 敏捷阶段敏捷阶段：本世纪第一个十年，研发模式向敏捷敏捷模式模式转型 测试分层测试分层金字塔金字塔出现 自动化自动化测试测试比例不断提高 DevOpsDevOps阶段阶段：最近10年，DevOpsDev

6、Ops思想思想的不断发展和传播 与持续交付流水线持续交付流水线相融合 覆盖软件全生命周期的持续测试闭环1982-2000s1982-2000s2000s-2010s2000s-2010s2010s-2010s-“推动科技管理敏捷转型。建立能够快速响应建立能够快速响应需求的需求的敏捷研发运维体系敏捷研发运维体系，积极引入，积极引入研发研发运维一体化工具运维一体化工具，建设企业级一站式研发协同平台。建立适应”敏态”与”稳态”的全周期线上交付管理流程，完善数字化交付管理体系。通过精益生产管理方法，提高对大规模科技队伍和复杂技术工程的管理能力。“2022年1月 中国银保监会关于银行业保险业数字化转型的

7、指导意见“聚力攻坚基础软件，推进软件集成开发环境推进软件集成开发环境相关产品和相关产品和关键测试工具关键测试工具的研发与应用推的研发与应用推广广”。“加速程序加速程序静态分析、动态测试、仿真静态分析、动态测试、仿真测试、自动化测试平台等测试工具研测试、自动化测试平台等测试工具研发发”。2021年11月 工业和信息化部“十四五”软件和信息技术服务业发展规划政策助推DevOps持续测试快速发展根据中国DevOps现状调研报告（2022）统计，测试左移正在加速，持续测试逐渐在行业中测试左移正在加速，持续测试逐渐在行业中落地。落地。17.74%的企业实现了的企业实现了在需求阶段设计测试、开发阶段完成在

8、需求阶段设计测试、开发阶段完成测试，体现了完全的测试左移和测试驱动开发测试，体现了完全的测试左移和测试驱动开发，同比增长，同比增长 23%；有；有 22.95%的的测试在代码开发前介入测试在代码开发前介入，代码级和接口，代码级和接口/服务级测试均在代码开发时同步进行。服务级测试均在代码开发时同步进行。累计累计超超4成成企业实现测试的部分左移。企业实现测试的部分左移。此外，自动化测试依赖测试工具来实现，测试管理和自动化测试工具已成为了DevOps中非常重要的环节之一。企业对自动化全流程的诉求愈来愈强，测试自动化已成为提升企业测试效率的必经之路。自动化代码扫描、单元测试、接口测试自动化率占比约自动

9、化代码扫描、单元测试、接口测试自动化率占比约七成七成，均同比上涨 5%左右。自动化比例超过或接近 30%的测试类型包括冒烟测试、开发自测、回归测试、UI 测试、性能测试、安全性测试、用户验收测试、系统集成测试、稳定性测试、可用性测试、可靠性测试，其中其中主要的非功能测试自动化比例都有显著提升。主要的非功能测试自动化比例都有显著提升。目前，一些新兴的测试技术自动化率较低新兴的测试技术自动化率较低，包括模糊测试（7.42%）、全链路测试（11.21%）、混沌测试（13.29%），是未来自动化测试工具的主要发力方向主要发力方向。测试左移、自动化测试等持续测试实践加速落地DevOps持续测试标准介绍持

10、续测试持续测试(Continuous Testing)是指软件持持续交付流水线续交付流水线中的一种可随时开展且具有可随时开展且具有连续性的自动化测试流程连续性的自动化测试流程。特点：测试左移测试左移 测试右移测试右移 自动化自动化持续测试概念本文件规定了组织在软件研发运营一体化（DevOps）中进行持续测试的方法和能力持续测试的方法和能力成熟度模型成熟度模型，适用于具备IT软件研发交付运营能力的组织和项目，对持续测试能力建设进行评价和指导。本文件旨在帮助组织通过持续测试提高测试效率、增强交付持续测试提高测试效率、增强交付能力、保障交付质量能力、保障交付质量，支撑组织实现价值实现价值的持续交付的

11、持续交付。持续测试标准范围典型测试流程图 标准从DevOps过程出发，将持续测试流程分为：需求阶段测试、开发阶段测试、集需求阶段测试、开发阶段测试、集成阶段测试、验收与发布阶段测试、成阶段测试、验收与发布阶段测试、运营阶段测试、持续反馈运营阶段测试、持续反馈。对应在DevOps迭代周期中，持续测试从敏捷开发的需求侧开始，到技术运营的运维监控，形成了端到端端到端的持续测试闭环的持续测试闭环。除持续测试流程外，持续测试能力还包括测试通用基础能力测试通用基础能力和持续测试持续测试效能度量效能度量。测试通用基础能力是持续测试流程的支撑，是实现持续测试的所有资源和风险管理的集合；持续测试效能度量覆盖测试

12、的全流程，持续优化组织测试和研发运营能力，体现测试效能和成果。在DevOps系列标准快速推广的背景下，为了帮助企业建立完善的持续测试体系、增强企业DevOps综合能力、提升软件交付质量和效率，2022年，中国信息通信研究院牵头与多家重点行业头部企业单位共同参与研制的行业标准研发运营一体化（DevOps）持续测试能力成熟度模型。部分编写单位：中国信通院、中国联通、农业银行、中国银行、中信银行、人保财险、中金公司、中泰证券、中移金科、京东、百度、东软集团、华佑科技、移动云能、金证科技、中软国际、广通优云等（以上排名不分先后）测试现状与标准要求持续测试贯标价值级别级别英文英文中文中文定义定义1级级I

13、nitial Level初始级组织内DevOps活动中具有基本的测试环节和测试制度，并开展初步的持续测试实践。2级级Fundamental Level基础级组织具有持续测试的计划和策略，测试初步左移和较高度自动化，能够实现部分测试的监控和度量。持续测试对产品交付和质量产生了一定效果。3级级Comprehensive Level全面级组织初步实现全测试周期的持续测试，测试全面左移和初步右移，在测试领域的各阶段实现高度自动化。组织开展全面的测试质量和效率度量，形成基本的持续测试闭环。4级级Excellent Level优秀级组织内实现DevOps全流程的持续测试，平台可以开展自助化的测试，具备缺陷

14、预防及初步的精准测试能力，并具有测试全流程多维度度量和产品质量评估体系，实现辅助决策。5级级Fabulous Level卓越级组织内实现全面的持续测试，全流程的精准测试和增量的持续交付，组织能够实现全生命周期的智能、自主测试和对持续测试的持续优化，推动DevOps全流程提质增效。持续测试能力成熟度分为1-5级，主要维度包括：规范制度、左移、右移、自动化、度量、缺陷预防、精准测试、辅助决策、规范制度、左移、右移、自动化、度量、缺陷预防、精准测试、辅助决策、智能化、持续改进智能化、持续改进等。持续测试能力成熟度模型设计了递进式的持续测试要求，并结合了未来测试管理及技术的发展趋势，设计出不仅能够衡量

15、现阶段组织测试能力，还可以在一定程度上引领测试行业发展方向的创新级别，为企业未来测试能力发展指明方向为企业未来测试能力发展指明方向。通过标准贯标，企业将建立完善的通过标准贯标，企业将建立完善的DevOpsDevOps测试制度、流程、技术体系、质量标准、工具链等，实现测试能力的全面提升。测试制度、流程、技术体系、质量标准、工具链等，实现测试能力的全面提升。贯标要点贯标要点 基本测试环节和制度基本测试环节和制度 初步左移和较高度自动化初步左移和较高度自动化 部分测试的监控和度量部分测试的监控和度量 测试高度自动化测试高度自动化 质量效率度量质量效率度量 组织形成持续测试闭环组织形成持续测试闭环 测

16、试自助化测试自助化 缺陷预防、精准测试缺陷预防、精准测试 质量评估辅助决策质量评估辅助决策 全生命周期测试的智能化全生命周期测试的智能化 自主测试、持续优化自主测试、持续优化行业主流行业主流到到行业领先行业领先测试的测试的规范化规范化未来趋势未来趋势与与理想测试理想测试贯贯标标价价值值随着DevOps持续测试对于测试数据的需求不断加深，中国信通院从工程实践和工具平台两个方向牵头编制了上述标准。DevOps持续测试随着不断地左移、右移和自动化，与DevOps流水线深度融合，DevOpsDevOps持续测试标准及系统和工具标准持续测试标准及系统和工具标准对测试数据的管理和应用提出了更高的要求对测试

17、数据的管理和应用提出了更高的要求高效、安全、智能高效、安全、智能。造造存存测测管管面面安安现状现状标准标准要求要求手工创造生产导入自助平台接口实时分散保存数测耦合数测分离统一储存手工取数用例依赖自动取数用例解耦AI赋能去冗保鲜依赖人工面向业务全链路化面向技术覆盖面窄存储安全测试安全业务安全隐私安全“有数可用有数可用”自动代替人工自动代替人工 数据测试解耦数据测试解耦“数尽其用数尽其用”全面覆盖业务及测试全面覆盖业务及测试 数据合规安全数据合规安全“数智融合数智融合”测试数据全生命周期智能化测试数据全生命周期智能化 帮助帮助DevOpsDevOps测试提质增效测试提质增效标准贯标2 需求评审工作

18、规范，应包含需求变更管理等内容 方便获取输入和输出材料 需求和用例进行有效关联3 需求应粒度适当且独立可验证 线上化管理流程和材料，记录问题并跟踪 确认最小可测单元的验收标准 需求可测试性进行评审4 自动开展需求评审准入检查 需求缺陷的预防能力 验收测试驱动开发（ATDD）需求阶段是软件研发的初期阶段。在需求阶段中，业务人员发现并形成用户故事，并进行用户故事的拆分。企业在需求阶段现状存在一些亟待解决的问题，如：需求没有准入标准需求交付物不明确需求拆分粒度不一需求没有与技术方案建立关联关系测试介入时间滞后通过成熟度级别的贯标：测试人员能够了解并能够根据测试提出需求，保证了需求具有可测试性、完备性

19、，让各角色对需求达成一致的理解，并让测试工作充分左移。标准贯标2 组织级测试计划规范、测试设计模版 与上级计划、项目其他工作项及测试用例之间的关联关系 合理的测试分层策略3 自动流转，减少等待 测试计划合理性验证 单次需求选择测试技术类型 流程化、规范化或部分线上化4 自动识别测试风险和推荐应对方法 资源灵活调动 持续改进测试计划描述了测试活动的范围、方法、资源和进度的集合；它确定测试项、被测特性、测试任务、执行任务人员/主体、及其他可能的风险，是对测试过程管理的准备、执行、人员等安排的总合。企业在测试计划实践中存在难点，如：测试有效性测试完备性测试介入时机测试自动化程度通过成熟度级别的贯标：

20、在测试计划阶段可实现对于测试对象、流程、执行等等环境进行全面、尽早的规划。标准贯标2 平台工具统一管理 变更进行有效评审、进行版本管理 断言设计合理有效、覆盖全面 和编码同时进行3 应进行分层抽象，可复用、可维护 跨环境执行 实体间关联关系和业务逻辑关系 自动生成部分测试用例4 缺陷分析，指导用例设计改进 自动化生成 智能分析需求变更推荐通过成熟度级别的贯标：测试人员尽早根据评审生成的需求文档和测试分层策略的设计，高效率高质量生成完备的测试用例。用例设计作为测试的重要环节，包括了手工用例和脚本两个部分，在设计实践中存在过于依赖设计人员能力，过于依赖人工评审等问题，是测试改进的重要阵地。企业在测

21、试计划实践中存在难点，如：用例分层不清晰用例关联不全面用例统计不完善用例评审未记录标准贯标2 组织级单元测试规范 具有行覆盖率检查 如项目涉及前端开发，应具备前端单元验收环节3 设计应减少外部依赖 有效性高，断言覆盖全面 集成在流水线中，执行效率高 合理的条件覆盖率，执行结果为质量门禁4 测试驱动开发（TDD）自动化生成部分单元测试脚本和用例单元测试指开发人员编写和维护的、用来运行产品源代码的一些小部分并检查结果的小程序片段。开发人员通常编写大量单元测试构成测试套件来对应程序行为。企业在单元测试中存在一些难题，如：开发不做单元测试单元测试不执行没有有效断言单元测试失败率高通过成熟度级别的贯标：

22、让企业在开发阶段尽早发现问题，提高交付质量，实现快速、频繁、高质量的单元测试。覆盖程度不够标准贯标2 测试全线准入准出的管理制度 可配置各环节门禁的严格程度 以自动化控制为主3 各环境和测试类型的准入准出标准内嵌到流水线，自动化评估 门禁符合条件时，项目自动流转 特殊情况适当放行机制，解决技术债4 质量门禁自动推荐传统的测试中，准入标准指从软件源代码开发阶段进入测试的标准，测试准出是组织完成质量测试晋级部署的环节，是决定产品交付质量基准的环节。企业在准入准出环节的实践也存在一些问题，如：缺乏准入准出机制准入准出不灵活仍需大量人工审查准入准出无法达成测试自动化流水线通过成熟度级别的贯标：准入准出

23、标准全面提高了持续测试的频率和效率，保障产品满足设置的质量标准和要求基线。标准贯标2 具备缺陷模版 人工复盘严重缺陷 基本统计指标和统计维度3 自动提交缺陷 自动化分析缺陷 建立与缺陷的关联关系 长期追踪偶发缺陷4 缺陷分布等统计结论，对瓶颈进行发现和优化改进 早期推荐预防历史缺陷 精准判定缺陷影响范围缺陷管理是指在软件生命周期中，对程序出现的所有错误进行识别与管理、确定缺陷进行修复和记录的过程。企业在缺陷的统计分析和价值提炼中需解决包括：缺陷密度统计缺陷数字化描述缺陷模型缺陷预防通过成熟度级别的贯标：测试发现的缺陷被跟踪管理而不丢失，缺陷能够快速解决并且通过分析反馈实现缺陷预防和优化开发。标

24、准贯标2 组织级具备前端界面的测试平台/工具 可用性保障 专属团队负责 覆盖主要的测试阶段和测试内容3 流水线集成整合，全流程自动化 与流程管理/审批平台对接打通 使用记录留痕、统计和权限等审计功能 支撑项目组自助服务4 智能化服务，测试过程的持续改进测试通用基础能力指对持续测试全流程的支撑能力，包含测试流程规范、测试人员管理、资产管理、环境管理、数据管理等。这些能力需要持续测试平台进行打通。持续测试平台是测试过程中使用的通用平台类或服务类的工具企业在持续测试平台中急需实现的功能包括：模块高内聚低耦合数据服务的整合测试人员管理通过成熟度级别的贯标：测试平台可以针对不同测试阶段中的单个或多个测试

25、对象，提供系统的自动化测试能力，产出测试报告，提高测试效率和产品质量。测试资产管理标准贯标测试效能度量，在大部分传统企业中仍处于建设初期，在度量指标的确定、基础指标的收集、指标加工算法、指标分类分级，可视化展示等方面均需进行大力建设。企业在效能度量中急需实现的功能包括：基础指标收集度量指标确定加工算法设计度量可视化展示2 各阶段度量指标设计，指标分类分级，线上管理；角色自定义展示，展现趋势 反馈按照周期，纳入工作项改进3 度量模型设计，精细化管理触达团队 度量平台化，可自定义；度量数据能够上卷下钻 自动化告警、生成改进工作项并跟踪4 智能化加工、推荐指标，自动调整指标优先级 智能化展示、加工、

26、预测、告警 自动完成聚类分析计算，持续改进通过成熟度级别的贯标：能够建立起完整的测试效能度量指标体系和展示平台，并通过度量实现持续改进。帮助企业更好的完帮助企业更好的完成效能提升成效能提升帮助企业建设完整帮助企业建设完整的精准体系的精准体系帮助企业打造全流帮助企业打造全流程质量保障闭环程质量保障闭环帮助企业进行缺陷帮助企业进行缺陷预防体系建设预防体系建设帮助企业建设现代帮助企业建设现代化测试团队化测试团队帮助企业提升全民帮助企业提升全民质量意识质量意识帮助企业提炼和复帮助企业提炼和复用高价值资产用高价值资产帮助企业开展度量帮助企业开展度量体系建设体系建设帮助企业改善缺陷帮助企业改善缺陷模型，降

27、本增效模型，降本增效帮助企业减少人工帮助企业减少人工干预环节，提效赋干预环节，提效赋能能截至2022年12月，共有65家企业216个项目参与 DevOps 能力成熟度模型评估，参与企业覆盖了银行、证券、保险、互联网、通信、出行等领域。目前已经开放评估的模块包括：敏捷开发管理、持续交付、技术运营、应用设计、安全及风险管理、系统和工具技术要求。持续交付持续交付DevOps能力成熟度标准评估情况DevOps标准体系建设进展 研发运营一体化（DevOps）能力成熟度模型能力类能力域能力子域价值交付管理敏捷过程管理敏捷组织模式配置管理构建与持续集成测试管理部署与发布管理环境管理数据管理度量与反馈高可用管

28、理能力项需求工件价值流敏捷角色版本控制构建实践测试分层策略部署与发布模式环境管理测试数据管理度量指标应用高可用管理需求活动仪式活动团队结构变更管理持续集成代码质量管理持续部署流水线数据变更管理度量驱动改进数据高可用管理自动化测试能力类能力类能力类能力类能力类能力类一、研发运营一体化（DevOps）过程三、研发运营一体化（DevOps）安全及风险管理（标准6）四、研发运营一体化（DevOps）评估方法（标准7）五、研发运营一体化（DevOps）系统和工具（标准8）六、研发运营一体化（DevOps）业务价值交付管理（标准9）七、研发运营一体化（DevOps）合作研发运营（标准10）敏捷开发管理（标

29、准2）持续交付（标准3）技术运营（标准4）监控管理事件与变更管理配置管理容量与成本管理连续性管理用户体验管理数据采集事件管理运营配置管理容量管理风险管理业务认知管理数据管理变更管理成本管理危机管理体验管理数据应用应急管理二、研发运营一体化（DevOps）应用设计（标准5）中国通信标准化协会（CCSA）于2022年9月23日在北京成功召开TC1 WG7 IT内控与审计技术标准工作组成立会议暨第1次工作组会，会上讨论并通过了研发运营一体化（DevOps）持续测试能力成熟度模型标准，标准于2022年11月成果发布征求意见稿。持续测试标准于持续测试标准于20232023年年2 2月月开启第一批试评估报名，开启第一批试评估报名，欢迎积极参与！欢迎积极参与！DevOps能力成熟度模型系列标准现有11个部分，其中：第9部分：业务价值交付管理（2021年10月立项）第10部分：合作研发运营（2022年4月立项）第11部分：持续测试（2022年9月立项）为在研标准，欢迎各位专家参与标准编制工作。技术运营技术运营应用设计应用设计安全及风险管理（安全及风险管理（DevSecOpsDevSecOps）系统和工具技术要求：系统和工具技术要求：