1、中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum360360搜索全链路质量保证体系搜索全链路质量保证体系360搜索测试部测试开发高级专家 韩金成2023052622023 iSQE 目录目录360搜索全链路质量保证体系插件化配置化自动生成式流水线多维度多粒度性能质量保证线上监控质量保证的最后一公里目录目录contents32023 iSQE 360360搜索全链路质量保证体系搜索全链路质量保证体系42023 iSQE 项目全生命周期质量保障项目全生命周期质量保障产品质量易用性交互体验适用性意义质量保

2、障应该贯穿整个项目的生命周期，从需求阶段开始到研发、测试、发布、线上运行，每个阶段对应不同的质量保证手段，才能在使问题更早的暴露出来，越早发现，带来的成本越低，反之，成本越高测试质量研发质量代码质量编程风格自测程度测试质量功能覆盖性能指标兼容性运维发布质量发布流程功能回归异常处理线上质量健康监控效果监控稳定性监控52023 iSQE 360360搜索全链路质量保证体系搜索全链路质量保证体系62023 iSQE 插件化配置化自动生成式流水线插件化配置化自动生成式流水线72023 iSQE 配置化流水线配置化流水线协作控制变更，安全稳定压倒一切开发、运维部门间缺乏沟通与协作流程工具规范部署时不经过

3、制品库部署后没有全面的健康检查测试环境不全，缺少某些环境没经过测试和准生产环境没有统一的制品库环境创建非常慢手工登录SSH配置环境没有统一的应用部署工具没有统一打包规范不同环境的部署方法不一致不同环境的部署包不一致不同环境的创建方法不一致82023 iSQE 传统传统PipelinePipeline存在的问题存在的问题92023 iSQE TeipeTeipe自动化流水线优势自动化流水线优势运行流程配置化插件化扩展方式内置丰富自动化组件利用服务组管理上下游部署机器与集群管理102023 iSQE TeipeTeipe自动化流水线运行过程自动化流水线运行过程112023 iSQE 技术架构与流程

4、技术架构与流程122023 iSQE 实例效果实例效果展示展示132023 iSQE TeipeTeipe自动化流水线效果自动化流水线效果管理1.代码管理2.版本控制3.制品管理4.环境治理5.自动化管理6.报告管理7.机器管理2w+次运行效率1.开发自测效率2.问题前置3.交付能力4.服务接入效率5.测试效率6.降低人力成本160+服务142023 iSQE 多维度多粒度性能质量保证多维度多粒度性能质量保证152023 iSQE 搜索引擎性能特点搜索引擎性能特点牵一发而动全身，单一服务需要更高的稳定性来保证整体的稳定性、异常场景下不影响整体稳定性、高度的整体把控能力稳定性要求高复杂的接口参数

5、、丰富的用户意图，需要覆盖更全面的数据，覆盖更多的逻辑场景，性能测试数据集合的组建成为关键覆盖率要求高精准度要求高测试效率提升单一服务P99毫秒级延时要求，测试中如何精准评估服务的性能，需要完善的指标体系来反映服务状态上下游关联服务众多，关联服务影响本次测试，需要最小化测试单元，自动化工具体系帮助研发与测试提高测试效率，减少人力成本162023 iSQE 面临的问题面临的问题02性能实施如何让性能实施更简单、可靠04结果分析指标怎么用，如何固化分析流程，结果一目了然01数据准备如何在有限的压测时间覆盖更多的场景03指标收集指标是否能反映性能的真实问题，收集哪些指标05问题发现如何线上第一时间发

6、现问题？发生问题后如何快速恢复与止损？172023 iSQE 多维度数据集合多维度数据集合-提高性能测试覆盖度提高性能测试覆盖度新功能覆盖不够旧功能需求变化异常场景覆盖不够时效性不强数据不可复制难维护动态数据集丰富程度时效性强可维护常规数据182023 iSQE 多维度数据集合多维度数据集合-提高性能测试覆盖度提高性能测试覆盖度192023 iSQE 分布式压测平台分布式压测平台提高实施效率提高实施效率执行效率执行效率手动、脚本、jenkins具有局限性，很难做到通用、友好，像阶梯发压、各种定制参数等等不容易做到，带来了更多的脚本指标收集、实时性指标收集、实时性如何再发压时同步查看性能指标，有

7、助于我们提前发现问题，并且仅仅是发压的指标，又不能反映服务的状态，也不能帮助定位问题跨机房、自定义压力机跨机房、自定义压力机搜索很多服务都是同机房调用，需要保证服务和压力机再同一机房，还有特殊网段等问题，如何能够更方便的添加压力机123202023 iSQE 分布式压测平台分布式压测平台提高测试效率提高测试效率抽象通用参数一键部署压力机全方位多维度指标性能指标秒级更新智能结果对比分析Top延时数据分类错误信息212023 iSQE 全方位多粒度指标全方位多粒度指标精准性能评估精准性能评估12345服务指标压力机指标进程指标被测服务器指标Metrics指标222023 iSQE 全方位多粒度指标

8、全方位多粒度指标精准性能评估精准性能评估232023 iSQE 全方位多粒度指标全方位多粒度指标精准性能评估精准性能评估242023 iSQE 智能性能测试结果分析智能性能测试结果分析-一目了然一目了然252023 iSQE 双模式双模式MockMock系统系统数据真实数据真实搜索业务特点数据的多样性搜索业务特点数据的多样性，不同数据带来不同的逻辑触发不同数据带来不同的逻辑触发.数据动态化数据动态化自由应对多个服务的数据自由应对多个服务的数据，能够根据规则动态生，能够根据规则动态生产数据产数据.延时真实延时真实较高的还原真实场景较高的还原真实场景，能够使测试，能够使测试更准确更准确性能要求高性

9、能要求高性能测试仍然需要进行性能测试仍然需要进行Mock,而性能要而性能要满足压测需求，能够更充分的测试被测满足压测需求，能够更充分的测试被测服务服务多服务端口问题多服务端口问题多服务存在端口一样的情况多服务存在端口一样的情况，减少服务的配置变动带来更，减少服务的配置变动带来更好的体验好的体验.目标目标262023 iSQE 双模式双模式MockMock系统系统篡改模式代理模式272023 iSQE 双模式双模式MockMock系统系统篡改模式代理模式282023 iSQE 线上监控线上监控质量保证最后一公里质量保证最后一公里292023 iSQE 线线上稳定性意义上稳定性意义01020304

10、掌握服务运行状态掌握服务运行状态：做：做到心中有数到心中有数责任到人责任到人：减少不相干：减少不相干报警，避免对报警疲劳报警，避免对报警疲劳及时止损：发现问及时止损：发现问题第一时间处理，题第一时间处理，避免造成更大损失避免造成更大损失关联上下游关联上下游：直接定：直接定位问题根源，减少时位问题根源，减少时间浪费间浪费.302023 iSQE 在线服务监控体系在线服务监控体系312023 iSQE 离线服务监控体系离线服务监控体系322023 iSQE 容量规划容量规划为什么要做容量规划？2545506075809598？容量是多少？余量还有多少？什么情况下需要扩容，需要扩容多少？整体的瓶颈在

11、哪里？那些服务存在隐患？何时需要降级？降级预案是什么332023 iSQE 容量规划实施过程容量规划实施过程342023 iSQE 容量规划收益容量规划收益摸清线上容量情况，对后续的产品策略提供了数据支撑发现很多因为上下游关联影响的性能问题、机器资源问题、服务代码问题、环境问题等推动资源扩容、代码优化、资源合理分配，提高了整理流量空间推进服务优化、建立分级降级方案、熔断机制等352021 iSQE 国际软件质量工程国际软件质量工程-international Software Quality Engineering 需求工程测试过程改进软件测试体系质量联盟国际需求工程测试成熟度模型集成国际软件测试CSTQB 专家工作组国际业务分析国际用户体验自动化、安全性、AIThank you Thank you 中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum