1、自动化API测试在B站的实践施亮哔哩哔哩-质量保障中心-工程效率部施亮B站EP团队负责人，目前主要负责公司持续集成、测试工具相关的平台和服务的建设。先后在SAP、百度任职，负责过多种测试评测、质量反馈的体系建设与多类C端业务的开发工作。哔哩哔哩 质量保障中心 工程效率部嘉宾照片目录CONTENTSAPI测试的痛点测试的痛点01 接口元数据的接口元数据的标准化和采集标准化和采集02 测试测试用例用例的采集和生成的采集和生成03 自动化能力的推进自动化能力的推进04 Q&A05 01API测试的痛测试的痛点点过往囧事有过很多努力维护了大量的场景和接口信息造数能力、“数据市场”但往往最后变成“部落知
2、识”01接口管理02测试用例生成03跨团队协作04工程环境API测试痛点接口变更，无法追踪依赖手动，工作量较大熟悉上手难，无法快速理解定制化能力弱，集成效果差02接口元数据接口元数据的标准化和的标准化和采集采集只有标准化，才能更自由接口元信息标准化通过接口元信息标准化，能够更方便的采集元信息，同时跟踪接口信息的变更。描述文档Proto作为协议描述文件工具链文档统一解析、注册、管理、同步调用代码全端Client代码自动生成接口元信息标准化描述文档 采用proto接口描述 请求路径语义化接口元信息标准化工具链 元信息采集/同步 BAPI仓库与Buff Scheme Registry 标准化构建流程
3、 自动元信息同步到Akali接口元信息标准化服务端代码（Go为例）直接调用云端生成的Stub代码 rpc+http自动兼容 Service定义逻辑一致 推荐使用Kratos框架接口元信息标准化调用代码（JavaScript为例)支持泛Web端和浏览器端 支持绝大部分类型的映射 无需关心序列化顺序文档与调试接口管理Akali平台=Postman+Swagger+Mock+JMeter接口生产Akali平台接口调用高效、及时、准确03测试用例的测试用例的采集和生成采集和生成测试用例的采集和生成多维度，提供各种方式，去拓宽测试边界和测试内容智能化人工的投入目标是去覆盖更复杂的场景或者上下游链路精准化
4、智能化自动化精准化测试用例通过各类平台、工具的能力，常态化记录测试用例用于日常测试自动化用例精准化建设降本增效的大环境下，专业人力的投入就更需要精准，需要去应对更复杂的场景用例精准化建设覆盖核心业务和场景，如社区、帐号、直播、电商等核心业务 基于场景的接口编排 业务场景1700+接口用例15000+通过更多样的方式去生成各类测试用例，全面覆盖各类场景和各类功能点。用例自动化生成通过用例设计的常规方式自动化生成，包括等价类划分、边界值等通过清洗流量采集的数据，生成可用于压力测试、性能测试的测试用例通过自动化生成并执行大量的随机测试用例，来发现接口的未知漏洞流量数据Fuzz通用方案用例自动化生成通
5、过Fuzz服务生成测试用例Easy：只改变接口data字段的值Sensitive：不改变原有类型，对于图像，文件等类型会用异常内容Strong：随机改变字段的值Bang：破坏传递结构用例自动化生成通过上下游串联，全面测试目标服务稳定性用例自动化采集基于线下流量录制 通过抓包记录接口调用 使用伴生容器，全量数据 无需开发，可平台配置用例自动化采集基于线上流量采集 APIGW标准化能力 日志采集，分钟级别采样 需开发介入用例自动化采集平台提供标准化的数据样本用例智能化生成通过AI生成测试用例（实验阶段）ChatGLM-由清华开源的一款LLM6B版本，本地化部署，可部署在24G显存的显卡上130B版本，线上内测版，API调用ChatGPT 3.5-OpenAI开发的一款LLM参数量为175B，API调用用例智能化生成实验案例用例智能化生成实验结论：在只描述接口的情况下，即可生成对应的测试用例，可大量减少人工投入实验碰到的问题理解文本长度有限，1000以上开始不稳定专业性，prompt需要严格调校成本控制，核心瓶颈04自动化能力自动化能力的推进的推进与CI的集成持续集成建设概览 分板块设计 分阶段建设 分等级推进与CI的集成自动化API测试快速配置和接入Q&A感谢聆听关注QECon公众号
sgpjbg002
工作日 8:30 - 17:30
报告分类
