1、浅谈基于大模型的智能测试技术杨萍字节跳动 基础架构目录CONTENTS1.智能测试技术现状2.LLM技术快速兴起3.LLM for Testing 典型场景4.字节的探索与实践5.未来展望智能测试技术现状AI for SE的研究集中在使用机器学习、知识图谱、信息检索等技术，助力SE传统领域如测试、分析、代码生成与理解等的效率、性能和准确性AI在软工领域的研究趋势NLP for 代码生成GUI 控件识别自动设计软件布局恶意软件识别服务事故聚合缺陷预测与定位生成测试输入/生成断言强学/好奇心生成测试数据检测安全与隐私风险Bug Triage/Locate精准测试/用例推荐NLP/CV传统ML无监督

2、分类学习知识图谱软工在AI也有广泛探索：对AI 模型本身的测试，AI项目的分析，AI公平性/偏见问题的评价等。智能测试技术现状近几年软工顶会的软件测试相关的文章（215篇），热门Topic：AI for testing：25篇Testing AI：34篇领域特定测试：48篇嵌入式系统（以智能驾驶为主）：14篇移动App（集中在Android）：21篇并行系统（concurrency bugs）：8篇云服务：3篇区块链：3篇!关键Topic!#难点问题!$行业走势!%典型工具智能测试技术现状移动App测试：优化遍历效果，MBT；录制与回放；具体测试；优化Fuzzing；测试用例管理：用例挑选/推

3、荐，精准测试，用例优先级排序；其他：微服务，机器人，嵌入式系统（自动驾驶）；数据标准化，At Scale业务场景，资损，业务安全更集成化的测试解决方案LLM逐步在测试领域发光发热GUI：Sapienz，Ape，Stoat，Fastbot服务端/单测：EvoSuite，AFL-Fuzz工业界的各类质量域解决方案LLM技术快速兴起LLM技术快速兴起 Key words：LLM/AIGC/AIGA ChatGPT/Code Interpreter/各类Copilot 趋势：数据质量越来越重要 垂直场景（Domain）的应用前景光明 掘金：Infra：计算&硬件，存储，网络 PaaS：向量数据库，ML

4、平台，安全 应用：应用开发，BI，营销注：图片来自网络LLM技术快速兴起来自：https:/arxiv.org/pdf/2304.03442.pdf 局限：Transformer：有限的视野 过时和矛盾的输出结果“不负责任”顽固的幻觉问题 复杂任务怎么办？Prompt Engineering，各种PE In-Context Learning，语境学习 Fine-Tuning，微调 Autonomous Agents，AI自治 知识库+搜索引擎+LLMLLM技术快速兴起 Codium，Diffblue 监控分析：Traceloop 交付自动化编码：Copilot，Cursor信息搜集：ChatG

5、PT文档编写代码审核生成式设计：Galileo AI，DiagramDesign 2 Code：anima，DhiWise,etc规划/设计开发测试交付/运维LLM for Testing 典型场景LLM for Testing？Generate Content V.S.Generate Action-生成用例描述-生成测试数据/输入-Debug-用例执行-结果分析-Debug-自动程序修复Generate ContentGenerate Action典型场景1:单测生成问题：传统单测生成技术需同时兼顾程序分析与测试生成不同语言的特性，意味着要迁移程序分析到不同PL上LLM优势：降维突破语言之

6、间的壁垒可利用传统方法为LLM for UT 生成提供大量训练数据评价指标正确性充分性可读性可用性典型场景1:单测生成LLM 结合SBST，例：CodaMOSA(ICSE2023)把单测生成当作任务，例：ChatTester(ArXiv2023)，两步走：让ChatGPT总结Focal method的意图，将意图作为Prompt；循环生成单测，让ChatGPT自己与自己交互，处理编译问题；来自：https:/arxiv.org/pdf/2305.04207.pdf典型场景2:GUI Testing问题：GUI测试工具在生成适当的文本输入以跳转到下一页面困难LLM优势：从非结构化的GUI页面中提

7、取“更有意义的信息”做Prompt例：Input Widget，各种Context等；生成具有语义相关性的输入能有效提升测试序列的可用性相关Work：Qtypist，Liu Z,Chen C,Wang J,et al.Fill in the blank:Context-aware automated text input generation for mobile gui testingC/2023 IEEE/ACM 45th International Conference on Software Engineering(ICSE).IEEE,2023:1355-1367.LIBRO,Kan

8、g S,Yoon J,Yoo S.Large language models are few-shot testers:Exploring llm-based general bug reproductionC/2023 IEEE/ACM 45th International Conference on Software Engineering(ICSE).IEEE,2023:2312-2323.典型场景3:自动程序修复问题：自动程序修复(APR)面临有限的补丁类型和复杂性问题LLM优势：生成更加多样性的补丁相关Work：Xia C S,Wei Y,Zhang L.Automated prog

9、ram repair in the era of large pre-trained language modelsC/Proceedings of the 45th International Conference on Software Engineering(ICSE 2023).Association for Computing Machinery.2023.字节的探索与实践实践1：单测生成模型：Bart、CodeT5、Vicuna、Bloomz、StartCoder、PolyCoderhttps:/huggingface.co/spaces/HuggingFaceH4/open_ll

10、m_leaderboard微调：函数级Fine-Tune，文件级Fine-Tune数据增强：传统工具先生成Eval：Code Coverage，可用性，正确性-入门必读：https:/huggingface.co/实践1：单测生成实践2：识别与修复风险代码实践2：识别与修复风险代码“风险代码”指由于存在“缺陷”有概率引发线上漏洞的代码，是构成代码漏洞的必要不充分条件。“校验缺失”是最常见的风险代码类型之一。由于缺少对关键变量进行关系校验、值域校验、类型校验、模式校验等必要合法性检查，会导致非法请求数据进入业务流程，造成安全危害。代码1:缺少if-condition校验代码（17-20行）会导致

11、水平越权漏洞（为方便本文阐述构造的测试代码，不存在于模型数据集中）实践2：识别与修复风险代码代码2:风险代码识别与修复能力展示“风险代码”指由于存在“缺陷”有概率引发线上漏洞的代码，是构成代码漏洞的必要不充分条件。“校验缺失”是最常见的风险代码类型之一。由于缺少对关键变量进行关系校验、值域校验、类型校验、模式校验等必要合法性检查，会导致非法请求数据进入业务流程，造成安全危害。实践2：识别与修复风险代码技术挑战：如何利用LLM解决不同类型的风险代码：风险代码是漏洞发生的必要不充分条件，梳理可能引发漏洞的风险代码类型并全量治理、可以提前解决很多潜在漏洞危害。但目前风险代码类型的定义还需要人工分析，

12、方案的完整实施需探索更高效、支撑所有类型风险代码的方法。如何利用LLM自身语言逻辑解释SFT任务：引导Risky Code LLM使用语言来描述风险代码识别与修复任务推理过程，希望通过LLM原有的“语言逻辑”来表示SFT任务习得的“任务逻辑”，进一步提升任务可解释性。未来展望未来展望Test Pilot接管大量测试活动进化成 Test Copilot改变现有用例生产模式提升现有测试活动效率LLM forTesting大模型在SE/ST的应用还处于初期，未来将围绕“改造存量工具平台”与“完成更复杂的软件活动”继续演进质量领域的特殊性，意味着大模型的应用需要更加准确和可靠合规与安全，将促使SE/ST在大模型的应用中，扮演更加重要的角色感谢聆听