1、中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum非功能质量保障转型之路非功能质量保障转型之路中信银行非功能质量负责人 刘光宇2023.5.2622023 iSQE 何思之考How to think传统的工作模式是否还能持续对现有的质量提供有效保障？资产如何复用？测试价值如何发挥到最大？如何通过一次测试发现更多的系统隐患？测试通过=生产0问题？全系统测试覆盖，需要多大投入？测试左移、往哪移？人手不够？有限的测试时间内，非功能到底应该关注什么？生产系统什么时候会炸？领导对测试重视程度不如研发？常谈赋能，

2、赋能什么？如何提效？人与人的差别，测试质量如何对齐？版本如何管控？环境差异怎么避免？基线在哪？生产事件除了添堵，还能干吗？测试结果保质期多久？32023 iSQE 何殇之患Where is pain Where is pain of performanceof performance28个性能生产问题14个可提前识别避免问题重复发生性能测试系统覆盖率不足27%测试覆盖率635个系统 VS 70测试人员测试人员缺口需求是否涉及非功能不明确导致未提交测试性能需求遗漏42023 iSQE 生产问题警鉴，犯过的问题不再犯健康检查表全自动化性能测试执行工具平台天启平台全面赋能项目组，扩大性能测试覆盖度性

3、能合伙人需求提前识别，避免测试遗漏需求准入门禁红线何解之忧How to solveHow to solve52023 iSQE How to work天启自动化脚本库调度、自动化场景执行监控、无人值守压力机调度、自动生成报告自动化压测线上自助性能健康检查、自动生成系统健康画像、自助压测自助服务SmartMock高性能挡板，单核1500TPS高压水枪gatling，顺时极限爆炸压力且对压力机消耗有限高性能组件对“内”赋能系统历年测试情况历年测试缺陷病例生产问题资产库何思之做持续积累赋能ing对“外”赋能+20%1w并发+167+8000条62023 iSQE 性能测试实施痛点测试策略测试策略测试

4、测试案例案例应用项目内部性应用项目内部性能度量指标能度量指标端到端业务全流端到端业务全流程性能度量指标程性能度量指标测试数据测试数据测试环境测试环境测试工具预分配测试工具预分配测试脚本测试脚本部署监控部署监控资源监控资源监控瓶颈分析瓶颈分析测试度量测试度量测试分析测试设计测试准备测试执行测试收尾测试缺陷测试缺陷测试报告测试报告实实施施流流程程、产产出出痛痛点点1 1、去、去IOEIOE要求，急需要求，急需LoadRunnerLoadRunner替代工具替代工具2 2、测试准备复杂，压力机准备流程长，压力机资源分布不均、测试准备复杂，压力机准备流程长，压力机资源分布不均3 3、zabbixzab

5、bix监控采集颗粒度过大无法满足需求，自定义监控部署耗时长监控采集颗粒度过大无法满足需求，自定义监控部署耗时长4 4、脚本开发时间长，对测试人员编码能力要求高、脚本开发时间长，对测试人员编码能力要求高5 5、性能问题分析沟通成本高，分析方法、测试度量方法和工具分散，测试分析靠人工经验、性能问题分析沟通成本高，分析方法、测试度量方法和工具分散，测试分析靠人工经验Implement pain points72023 iSQE 测试执行快速化测试报告自动化 过去：手工执行，人工监督 优势：测试执行实现自动化，过程无需人工值守，且测试场景可以动态设置 过去：手工编写测试报告，工作繁重 优势：测试执行结

6、束后自动生成测试报告，并对测试结果和测试需求进行对比，自动进行分析机器管理集中化 过去：测试经理每次测试需单独申请压力机，单独部署 优势：压力机资源按需动态分配，统一部署管理，执行结束自动回收，提高资源的利用效率，且用户无需知道压力机的存在测试流程规范化 过去：测试执行和测试管理相互独立 优势：从测试任务管理到测试脚本准备、场景设计、案例执行以及测试报告生成，实现了测试流程的规范化和统一化资源监控动态化 过去：专门的资源监控工具，人工执行监控 优势：场景执行后对各个服务器进行自动监控，并对关键性能指标实现图形化展示，无需手工启动和整理结合我行目前实际情况，统一规范性能测试流程，实现非功能测试场

7、景执行结合我行目前实际情况，统一规范性能测试流程，实现非功能测试场景执行、监控监控、报告生成自动化，将非功能测试过程各个活动实现在线化管理。、报告生成自动化，将非功能测试过程各个活动实现在线化管理。自主自主研发研发自主掌控自主掌控解决方案SmartPerf天启SmartPerf82023 iSQE 数据收集InfluxDB：分布式时序序列数据库，无需外部依赖；可度量性：可以实时对大量数据计算ElasticSearch：Apache许可条款下的开源分布式搜索引擎，基于RESTful web接口Filebeat：分布式日志管理工具，可以高速分析统计交易执行日志，轻量级；支持多种数据源、实时构建数据

8、转换管道压力机引擎 Jmeter：测试脚本执行基于Jmeter；架构开放可扩展、易于集成；License友好并具有一定的影响力 Gatling：基于akka Actor模型的异步非阻塞打压工具Grafana：负责机器监控的可视化展示和渲染Promethues：负责服务器及压力机资源的监控，资源监控开发框架前端Thymeleaf框架；后端SpringBoot框架；MySQL数据库。测试执行测试执行调度分发服务调度分发服务自动化测试执行服务器自动化测试执行服务器应用服务器应用服务器应用服务器应用服务器天启技术架构发送请求，发送请求，R=NR=N笔笔/s/s响应请求如在响应请求如在1s1s内回来，则

9、认为内回来，则认为vu=N=R=TPSvu=N=R=TPS，则，则1s1s就是一次就是一次请求请求/响应的耗时；响应的耗时；接收如果大于接收如果大于1s1s回来，则按照实测结果计算回来，则按照实测结果计算TPSTPS和响应时间和响应时间，Vu=TPS*RTVu=TPS*RTTechnical architecture92023 iSQE 灵活更换压测引擎灵活更换压测引擎 可视化实时监控可视化实时监控 动态分配压力机动态分配压力机 性能测试资产库性能测试资产库 性能测试活动线上化性能测试活动线上化 辅助智能寻优辅助智能寻优功能亮点功能亮点SmartPerf天启性能测试管理平台整体架构天启性能测试

10、管理平台整体架构压力机管理压力机管理插件管理插件管理测试脚本测试脚本项目信息项目信息任务管理任务管理执行队列执行队列测试场景测试场景执行结果执行结果报告生成报告生成平台展示层平台展示层压力机资源池压力机资源池压力机分配压力机分配文件拆分文件拆分场景拆分场景拆分agnet 通信通信流量下发流量下发脚本上传脚本上传执行调度层执行调度层调度中心调度中心执行中心执行中心性能指标性能指标日志收集日志收集服务器资源收集服务器资源收集数数据据收收集集结果展示结果展示Jmeter/Gatling Docker压力机压力机agentJmeter/Gatling Docker压力机压力机agentJmeter/G

11、atling Docker压力机压力机agent自动部署自动部署服务注册服务注册监监控控整整体体架架构构天启整体架构Overall architecture102023 iSQE 性能地图Performance Performance mapmap112023 iSQE 何人之伙Performance partnershipPerformance partnership67%通过合伙人赋能，200+个系统在天启平台新增了性能记录15%8期培训，参与培训300人/次性能测试流程，天启工具使用监控及调优课程发展合伙人174人性能合伙人+性能测试组共计约200人，占全中心行员7%增加系统性能覆盖度7

12、%持续赋能ing122023 iSQE 何人之伙Performance partnershipPerformance partnership1、扩大性能测试影响力717项目：测试覆盖145个系统、7个板块18个开发领域（含大数据中心），涉及性能合伙人174人标准组件：系统采用公共组件的82个、快捷协作的20个，mesh的 1个实现流控：限流113个；熔断：108个2、存量系统质量提升：拦截性能缺陷48个，预警性能风险233个 排除公共组件问题5个、快捷平台问题1个 应用适配组件有效性等问题9个 优化性能问题4大类：数据库效率、高并发出错、容量瓶颈、内存泄漏等3、数据维度日趋完善：天启资产沉淀：

13、积累600+测试场景及测试结果沉淀140余个系统的基础数据，为后续流量瓶颈分析提供参考性能资产新增49个新使用系统，增幅27%。4、测试质量“事半功倍”：整改如期完成，节约投入80余人月三级评审控质量：测试方案、脚本、报告-性能团队三级评审；技术支持查风险：风险及缺陷-性能团队全程支持；天启自助提效率：天启平台监控、场景执行一键式落地。132023 iSQE 何查之项Put your Amazing Sub Title Here赋能自助健康检查通过URL直接登录天启平台即可在线完成性能画像依托健康检查上的原始数据，天启平台可以画出系统性能画像，供项目组识别系统性能短板萃取生产性能问题精华8位性

14、能工匠，200个日夜深入分析提炼出80余项健康检查点只为一个它：犯过的问题不再犯！COMPANY PROFILECOMPANY PROFILELorem ipsum dolor sit Lorem ipsum dolor sit ametamet,consectetuerconsectetuer adipiscingadipiscing elitelit.Maecenas Maecenas porttitorporttitor conguecongue massamassa.142023 iSQE 1、性能质量显著好转：、性能质量显著好转：性能原因导致的问题数，同期降幅90%2、开展性能测试赋

15、能，降本增效：开展性能测试赋能，降本增效：2020年，性能测试投入持平情况下，性能测试覆盖率由27%提升至80+%3、专人专用，避免低效投入、专人专用，避免低效投入杜绝性能测试专家负责索引这种德不配位的需求1、自助性能健康检查（体检中心）：、自助性能健康检查（体检中心）：业内独创业内独创自助性能健康检查，开发自助使用天启平台了解自身系统性能状况。通过工具赋能，降低性能测试门槛，降低性能测试门槛，培养全民性能健康意识培养全民性能健康意识2、性能合伙人机制（普通门诊）性能合伙人机制（普通门诊）：业内首创业内首创性能合伙人机制，由性能测试核心专家团队与开发项目组专业人员，组建性能合伙人，解决人员缺口

16、问题3、非功能专业测试（特需门诊）：、非功能专业测试（特需门诊）：非功能专业组负责牵头实施，非功能专业组负责牵头实施，主攻疑难问题，全链路测试行业首创合伙人制的三层门诊性能测试1、性能测试人员能力要求极高，培养周期长，、性能测试人员能力要求极高，培养周期长，资源短缺导致性能覆盖不足资源短缺导致性能覆盖不足2、性能检测专业性要求高，、性能检测专业性要求高，缺少简单易用的系统性能验证平台缺少简单易用的系统性能验证平台，对性能问题，对性能问题“有心无力有心无力”3、“好钢用不到刀刃上”、“好钢用不到刀刃上”痛点痛点152023 iSQE 业务需求业务需求需求分析需求分析开发设计开发设计方案方案开发实

17、施开发实施测试阶段测试阶段投产运维投产运维健健康康检检查查性性能能测测试试性性能能合合伙伙人人三三层层门门诊诊性性能能地地图图资资产产库库需求漏网之鱼需求漏网之鱼需求门禁红线Performance Performance RedlineRedline162023 iSQE 第一步：定标准第一步：定标准-建立红线建立红线1、性能团队牵头梳理标准。项目管理，架构，各领域专家共同修缮制定、性能团队牵头梳理标准。项目管理，架构，各领域专家共同修缮制定2、标准公示并征求意见、标准公示并征求意见3、按标准实施，触及标准基线必须进行性能测试、按标准实施，触及标准基线必须进行性能测试第二步：执行标准，三重把关

18、第二步：执行标准，三重把关1、标准线上化管控，不做性能评估无法提交测试流程；、标准线上化管控，不做性能评估无法提交测试流程；2、性能评估是否合理由领域架构师负责按标准准出；、性能评估是否合理由领域架构师负责按标准准出；3、性能测试团队根据评估结果决定：可不测、自测、性能测试团队根据评估结果决定：可不测、自测4A或性能组承接或性能组承接4B；4A、对于自测的，项目组使用天启平台实施。可依托天启平台进行检查指标是否需要调、对于自测的，项目组使用天启平台实施。可依托天启平台进行检查指标是否需要调优，需要调优的，平台会给出调优建议方向、方法并跟踪调优结果；同时建立上升机制，优，需要调优的，平台会给出调

19、优建议方向、方法并跟踪调优结果；同时建立上升机制，对于能力不足的项目组，上升至对于能力不足的项目组，上升至4B；4B、由性能组测试的，按性能测试标准实施流程严格把控。、由性能组测试的，按性能测试标准实施流程严格把控。性能红线如何实现How to do172023 iSQE 一、上述两步性能评估用于解决一、上述两步性能评估用于解决项目级项目级性能问题，性能组牵头制定性能问题，性能组牵头制定1、性能需求分析表性能需求分析表-事前检查：提前识别性能风险红线，触及红线必须经测试验证事前检查：提前识别性能风险红线，触及红线必须经测试验证2、数据库性能隐患对照表数据库性能隐患对照表-事前检查：提前识别数据

20、库开发中存在的性能风险事前检查：提前识别数据库开发中存在的性能风险二、系统级性能问题由健康检查负责检核二、系统级性能问题由健康检查负责检核三、天启平台、资产库、知识库三、天启平台、资产库、知识库性能红线Performance Performance RedlineRedline182023 iSQE 事项 通过推广健康检查及性能需求评估红线，提高系统性能健壮性措施1、对165个排期需求进行识别，其中通过红线识别遗漏性能需求381项，381项中91项发现了性能隐患并进行了调优，性能缺陷识别率通过红线识别近1/4，提升了性能测试需求遗漏的问题。2、165个需求中，退回需求58个，为无关需求或非性能

21、需求，如前端界面调整，后端逻辑未动。节省人力约10人/月。3、推广至今，共收到反馈意见32条：正向反馈：21条，主要集中于项目组自测时，方向更明确。负面反馈：11条，主要集中于1、增加了项目组工作量；2、有些红线点还是描述太专业，执行人员看不懂只能盲猜含义。4、天航系统里2021年性能问题年性能问题37个个，2022年截止目前性能问题年截止目前性能问题9个个。制定性能测试需求评估红线，形成条目化规则，对排期的性能测试需求进行评估和识别；自9月份以来每周针对新增排期进行性能测试需求评估，有效识别涉及性能测试需求的排期165个，覆盖软开中心8个板块27个领域及信息技术管理部和大数据中心部分排期进度

22、说明取得实效 已完成性能测试需求评估红线的制定和意见征集；已完成性能测试需求评估红线在各板块和领域的需求试用；已修订性能测试管理细则将需求评估工作纳入工作流程；已同步IPDO项目组完成评估线上化改造工作；性能红线Performance Performance RedlineRedline192023 iSQE 打造质量生态Future direction202023 iSQE 生态净化效果Future direction212023 iSQE 4月月-完成完成信通院金融业首家信通院金融业首家全链路先进级平台认证全链路先进级平台认证5月月-混沌工程实验室成员单位升级为混沌工程实验室成员单位升级为混沌工程副理事长单位混沌工程副理事长单位今年今年1月月-信通院首批一云多芯成员单位信通院首批一云多芯成员单位11月月-2022年度行业科技创新案例奖年度行业科技创新案例奖6月月-分布式系统稳定性建设分布式系统稳定性建设指南（指南（2022）发布发布12月月-五跃天质控平台通过五跃天质控平台通过DevOps能力成熟度评估能力成熟度评估2022年成果AchievementThank you Thank you 中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum