《于蕾-基于AIGC构建具备中高级水平的测试领域AI助手.pdf》由会员分享,可在线阅读,更多相关《于蕾-基于AIGC构建具备中高级水平的测试领域AI助手.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、基于AIGC构建具备中高级水平的测试领域AI助手于蕾 蚂蚁集团演讲嘉宾于蕾蚂蚁集团蚂蚁集团平台工程与技术风险部质量技术测试开发专家,目前主要负责蚂蚁集团CIO部门的业务质量保障工作,包括蚂蚁集团业务风险、行政、采购、内控等多个业务领域相关的质量保障及稳定性,并负责测试分析大模型训练、领域模型评测等方向的相关工作,毕业后曾就职于百度,从事信贷业务后台、搜索等业务的质量保障目 录CONTENTS1.蚂蚁测试流程与测试分析背景介绍2.测试分析模型训练介绍3.实践成果介绍4.展望蚂蚁测试流程与测试分析背景介绍PART 01蚂蚁测试分析背景介绍需求&产品系统设计测试分析开发&测试发布 预发/灰度风险分析
2、 业务风险分析 技术风险分析测试用例设计 功能测试 性能测试 兼容性测试.变更三板斧 可灰度分析 可监控/核对分析 应急分析测试分析研发流程测试分析环节在整个研发流程提效难,针对大型项目通常需要数天才能完成;测试人员能力与经验依赖性强,通常需要1年以上培养一个业务领域质量工程师;2-3年培养一个业务领域质量专家;研发流程中测试分析环节是测试工程师质量保障工作最核心的价值产出测试领域工具现状测试用例管理测试框架App/UI/接口DevOps测试分析生成测试分析模型训练介绍PART 02测试分析模型目标-中高级水平的测试领域AI助手测试领域通识知识能力计算机领域知识测试领域知识测试分析方法运用测试
3、设计能力基于需求产品文档&系统设计文档=测试场景&测试用例风险分析&措施推荐能力业务风险&技术风险分析风险措施推荐(线下/灰度/监控/应急)功能、性能、安全、测试分析模型 模型架构蚂蚁语言大模型业务域测试分析模型产品透出训练数据模型训练测试领域知识测试设计方法蚂蚁测试领域知识测试书籍蚂蚁测试论坛PRD/系分/测分文档历史线上问题(故障)测试用例等价类边界值场景分析法因果图判定表测试领域知识注入PRD-用例自动关联多模态数据处理QA提取模型Prompt-turning相似信息匹配结构化处理结构化语言-自然语言图片-结构化语言Copilot模式-文档AI智能助手、蚂蚁质量平台、BG测分平台测试分析
4、基础模型SFT/LORA/Prompt-EngineeringWeb-chat模式-CodeFuse测分助手测试分析模型 测试领域知识注入QA提取 任务蚂蚁语言大模型问答生成训练结构化语料构建1.Input:Q Output:A2.Input:原文+Q Output:A3.Input:相似Q Output:相似A4.Input:QA+相似Q Output:相似A测试分析模型 PRD-用例自动关联数据清洗数据加工蚂蚁测试用例管理平台蚂蚁语雀文档需求文档(PRD)测试用例集打标PRD链接段落拆分表格处理图片处理专有名词解释拼接多级标题拼接无效信息过滤用例集结构化无效用例过滤多级标题业务名词解释正文
5、段落多级标题PRD链接标签用例列表和详情数据关联PRD标题用例集标题PRD标题逐级精确匹配次小标题段落融合匹配用例集标题PRD正文用例集标题逐级精准匹配次小标题用例集融合匹配Input:PRD段落 Output:测试用例集PRD预处理用例集预处理PRD片段测试用例集PRD片段 vs 用例集匹配结构化语料测试分析模型 多模态数据处理Step1Step2Step1:图片结构化语言 任务蚂蚁多模态大模型结构化图片阅读能力训练Step2:结构化语言 自然语言 任务蚂蚁语言大模型结构化语言理解能力训练测试分析模型 prompt设计 测试分析专家 对需求进行测试用例设计 领域测试用例设计实例 领域测试设计
6、方法论总结 按照markDown格式返回角色任务思维链格式要求模型效果介绍PART 03测模型效果 中高级软件考试259/647399/647307/647标准答案GPT3.5蚂蚁测试分析模型白盒测试也称结构测试,透明盒测试。主要用于单元测试阶段,代码和逻辑的测试,重点复杂的测试,是一种测试用例设计方法,不同于黑盒测试,白盒测试是可以看到内部代码如何运作的,可通过测试来检测产品内部是否符合规定正常运行。白盒测试是一种软件测试方法,也称为结构测试或代码测试。它基于对软件内部结构和代码的了解,通过检查程序的内部逻辑、数据流、变量使用等来验证软件是否按照设计要求正确地执行。白盒测试通常由开发人员或专
7、业测试人员执行,旨在发现代码中的错误、缺陷和漏洞,以提高软件质量和可靠性。白盒测试是一种软件测试方法,它涉及测试软件代码的内部实现,以验证其是否满足设计规格说明。白盒测试通常用于测试软件的内部逻辑和算法,以及检查代码覆盖率和分析代码性能。白盒测试的目标是验证软件是否满足规格说明,并检测和修复潜在的错误和缺陷。白盒测试通常包括静态分析、动态分析和逻辑覆盖率分析等技术。e.g.什么是白盒测试?计算机技术与软件专业技术资格(水平)考试 中级/高级(软件评测师考试等)模型效果-测试用例设计&风险措施分析使用测试设计方法进行用例设计根据业务场景生成测试分析根据业务场景分析风险防控策略模型效果 文档AI智能助手PRD片段:网站登录页面,需要输入正确的email和密码,同时需要确认隐私政策并同意。密码的记住我选项可勾选,如果用户使用google账户登录,则跳过上述步骤展望PART 04展望-质量专家质量专家业务领域知识(产品、系统、链路背景等等)系统代码/链路代码历史产品缺陷全量线上问题/故障技术风险分析&稳定性分析展望 从测试分析到测试代码生成产品/系统设计文档测试场景/测试用例测试脚本代码功能代码测试分析模型测试用例模型测试资产模型LangChainTHANKS