1、基于大模型的软件测试能力提升研究华东师范大学目录CONTENTS议题背景01 相关工作02 大模型综合解决方案03 场景化方案细节04 总结与展望05 01议题背景大模型与软件测试的应用背景宏观环境GPTLLAMA国家发改委发布:关于加快推进人工智能创新发展的指导意见行业走势市场潜力政策背景内容创作智能教育金融2022:$2B2032:$80B软件测试能力提升基本方法日志分析深度解析海量程序日志测试流程端到端优化整体测试流程结构化数据非结构化数据日志的特点产生速度快数据种类多数据规模大价值密度低日志数据日志分析的技术难点稳定性低移植性差抗扰性弱测试流程痛点1.提出需求2.编写用例3.用例评审4

2、.用例执行5.测试报告人力成本巨大人工测试面临的问题1342效率低下质量不稳覆盖不全适用性差自动化测试面临的问题1342标准化难工程量大背景复杂通用性差02相关工作日志分析的标签化方法有监督半监督无监督精确度适用性标记成本高调整复杂理解成本高日志数据处理Compression数据压缩存储优化运行时压缩Parsing数据解析字段提取结构化日志Mining数据挖掘异常检测故障分析日志数据解析日志头关键字【常量单词】Received blockof sizefrom程序日志解析模型DeepLog基于日志键的方法没有考虑到文本的语义信息RNN模型的输入长度有限当前状态只依赖于当前状态以前的状态，没有充

3、分考虑上下文日志的模式会发生变化，可移植性差DeepLog日志预测模块最近的日志键keym-h,m-1预测的日志键Pr(Key0,n)inputoutput程序日志解析模型NeuralLog去除数字和符号信息将处理后的单词使用bert模型编码基于单词的编码生成句子表示向量经过Transformer分类器预测输出NeuralLog的缺陷数字符号信息也是日志的重要信息编码器的单词表有限生成句子向量丢失原本的语义信息对类型之外的模式不能很好识别去除数字和符号信息将处理后的单词使用bert模型编码基于单词的编码生成句子表示向量经过Transformer分类器预测输出缺陷流程测试流程现状目标：确保软件开

4、发过程中的质量、可靠性和安全性 降低软件开发的风险，并确保最终产品符合用户需求和预期问题：人工劳动过于密集需求分析测试计划制定测试用例设计测试环境设置执行测试缺陷管理性能测试安全性测试用户验收测试文档和报告03大模型综合解决方案大模型方案概述机器学习是人工智能的一部分，它使用数据和算法来实现AI的目标。深度学习是机器学习的一个子领域，它使用深度神经网络来学习数据的表示。大模型通常用于深度学习任务，它们是深度学习的一种实现方式，其中模型具有大量的参数。人工智能机器学习深度学习大模型基于大模型的测试方法分类测试任务测试生成单元测试测试预期测试输入缺陷检测缺陷分析调试修复大模型综合解决方案流程定义任

5、务上下文建立格式化输出少量样本学习交互式查询微调和迭代“请分析下列日志”“请给出测试case”过往的日志信息过往的分析数据过去的测试样例准备阶段：利用引导语句和输入提供必要信息“请以markdown格式输出”“请用json格式提供case”大模型综合解决方案流程定义任务上下文建立格式化输出少量样本学习交互式查询微调和迭代改进阶段：提高性能与适应性Few-shot learning准备阶段仅提供少量样本基于前置答案追加要求基于结果重新训练模型利用Fine-tune训练模型大模型方法的优势性能更好泛化更强知识更多挖掘力更强样本更小复杂性更低04场景化方案细节基于日志的数据整合大模型不仅可以提取信息

6、，还可以发现信息中隐藏的模式基于日志模式的检测方法无法判断上述异常状态2023-09-05 09:30:00 INFO Database connection established successfully.2023-09-05 09:35:00 INFO User AlexM initiated data backup process.2023-09-05 09:40:00 INFO Backup process completed approximately 20%.2023-09-05 09:50:00 INFO Backup process completed approximate

7、ly 80%.2023-09-05 09:55:00 INFO Backup process completed successfully.2023-09-05 09:55:15 WARNING Unexpected database query detected.2023-09-05 09:55:17 INFO Data export detected from 192.168.1.105.2023-09-05 09:56:00 INFO User AlexM logged out.日志分析：错误信息的提取与理解模型在大量的文本库进行了预训练，可以从文本本身的含义出发提取错误关键信息。日志分

8、析：日志异常检测模型的训练使用不同的Prompt定义任务来修正输出内容使用少量样本训练提升模型检测能力微调prompt规范输出格式利用大模型泛化测试流程自动化软件测试框架 大模型选择 集成大模型和目标软件系统 将测试流程自动化大模型目标软件系统测试样例测试流程生成方案“小”模型数据集微调训练后模型175B+模型生成引导语句生成生成测试流程面向测试流程的大模型训练过程数据：过去的需求文档、技术文档、测试图基础模型：7/13/30B语言模型现有模型数据集微调目标模型测试文档少量样本学习微调和迭代面向测试场景的大模型训练上下文感知 针对测试进行微调（Fine-tune）制作数据集引导语句实例定义任务

9、格式化输出模型推理过程模型测试样例引导语句测试文档输入输出测试流程输出实例：目录树文本结构简单，便于切换为EXCEL等常用格式可读性强，单个步骤清晰测试流程输出实例：C+代码可以直接运行流程测试流程输出实例：JSON文本字数最少节省大模型token树结构最清晰大模型软件测试能力提升实验结果输入：需求文档输出：测试流程Audience Filtering:Short videos with presale anchors are completely invisible to kids mode users(full-scene filtering).Unauthenticated users

10、trigger login when clicking on an anchor;only logged-in users can subscribe(because notifications need to be sent at the UID level).Anchor style remains the same as online,with the text”MMM.Clicking on an anchor brings up a display of artist performances:Banner Image:XXXPage Title:XXX Name+YYY.Presale Time:Obtained from API.Date Format:Fri,Date,Year at Time.Presale Code：YYY05总结与展望大模型能力提升日志分析自动化 关键词提取与数据融合测试流程自动化 Test Case 理解并生成 需求-测试全流程自动化利用量化技术加速推理压缩矩阵运算减少内存使用基于C+实现快速推理推理性能提升感谢聆听关注QECon公众号