《A4--杨雷--基于模型提升云解决方案的测试效能.pdf》由会员分享,可在线阅读,更多相关《A4--杨雷--基于模型提升云解决方案的测试效能.pdf(35页珍藏版)》请在三个皮匠报告上搜索。
1、基于模型驱动的复杂系统测试方法和实践杨雷高级工程师,华为云计算杨雷12年测试从业经历,其中分别有9年云领域测试和3年测试架构设计经验,长期专注于自动化测试、测试工程能力、DevOps流水线以及测试架构设计领域。现任华为云某产品测试系统架构师,负责相关的架构设计和产品规划、测试自动化基础工程框架设计。同时,在华为自动化测试专题组和华为云测试工程工具TMG中担任相关工作。华为云计算 高级工程师目录CONTENTS问题背景01 核心解决思路02 关键技术03 实践效果04 01多云场景下复杂系统的测试挑战问题背景研发态交付态云服务上云维护态运行态50PM200PM1000PM云 服 务 数 量接 入
2、 用 户 数 量流 量 规 模金融工业政务城市互联网跨行业、跨领域的建云、用云、管云场景云的规模持续扩大业务流量复合增长云的生命周期有多种状态云计算复杂系统的特征挑战1:有限的时间、人力条件下,如何完成复杂系统的测试?云服务交付复杂场景的测试困境私有云:局点A架构版本A非标硬件云服务清单A规模XXXPM私有云:局点B架构版本B非标硬件云服务清单B规模XXXXPMCN-HB-Region公有云CN-GY-RegionCN-GZ-RegionCN-Other-Region公有云架构版本标准硬件全栈云服务云服务X挑战2:如何说清楚云服务在各种交付场景下的覆盖?测试资产的协同困境云服务A云服务D云服务
3、C云服务Bp 云服务A测试资产p 云服务B测试资产p 云服务A测试资产p 云服务B测试资产p 云服务C测试资产p 云服务A测试资产p 云服务B测试资产p 云服务C测试资产p 云服务D测试资产p 云服务C测试资产p 云服务D测试资产A团队框架B团队框架C团队框架D团队框架云服务A云服务B 云服务C云服务D云服务接口测试框架性能测试框架可靠性测试框架云解决方案其他专项框架资产团队领域业务测试挑战3:测试资产烟囱式建设,重复,难集成02测试系统探索思路解决思路问题本质u 缺乏规划问题本质u 缺乏标准脑力有极限业务无极限u 缺乏工程方法边际效应问题规模人力投入大型复杂系统的工程方法-产品线工程理论时间
4、维度:管理资产和产品演进(版本管理)多产品管理:管理产品线中资产和产品的多样性,即多产品管理(产品A/产品B)生命周期维度:资产和产品的生命周期活动(需求、设计、开发、测试、发布、交付)大型复杂系统的工程方法-软件工程理论12 Architecting the Future of Software Engineering CMU Software Engineering Institute高级架构范式、先进的开发范式可演化的确保方式,可演绎的推理结构系统整体演进方式基于可信装配组装的构建方式测试系统简述测试系统是测试团队特有的生产力,是测试能力和实例的综合体现。u 测试系统是被测系统的价值和竞
5、争力标尺u 测试系统是被测系统的生态系统u 测试系统让算力代替人力提供测试服务测试系统的核心价值华为 测试系统与测试开发白皮书测试系统:大型复杂系统的测试方案目标系统被测系统测试系统业务功能DFx功能功能支持集成验证系统伴生微服务/虚拟机/组件测试套/测试环境/测试工具软件包/补丁包测试系统编排包开发使能系统流水线、代码库、IDE测试系统开发平台/测试系统硬平台功能实现编排组成实现测试资产和测试能力开放共建。生态化测试资产全局唯一,消费和生成满足测试系统框架约束。标准化测试系统作为产品发布,版本化发布和演进,基于统一的框架协同应用。产品化与被测系统需求同源,架构同源、版本同步,历史可追溯。同源
6、化测试系统与被测系统是目标系统的一体两面测试系统:测试资产治理原则测试环境目标系统被测系统测试系统功能验证功能测试支撑调用支撑AW(Action Word):对外可感知的测试行为封装测试活动u 基于被测对象设计u 独立封闭性原则u 开闭原则u 全局唯一原则u 无状态原则u 最小SLA原则工程化的治理原子测试资产测试系统:测试资产工程原则CodeAW面对测试的多样化场景,测试资产应满足III工程原则(Importable、Invokable、Integrable)ImportInvokeIntegrate消费方式APISDK工程框架生产方式生成测试系统:测试资产与架构模型同源云管平台XXXXXX
7、XXX接入管理容灾登录登出版本检查状态检查云平台计算虚拟化架构对象+AW模型树告警处理架构对象AW图例登录登出倒换帮助中心云服务网络登录打开搜索登出接入$云服务升级扩容查询VMECSXXX申请释放数据库EI安全RDSDDSLibFileHttpWebNetCmdOpenReadReqRespSelectClickDialSocketRun申请释放申请释放登录查询恢复测试系统:测试模式变革过程数据标准化资产库资产模型框架原子资产模型资产设计统一任务框架测试系统应用测试系统生产测试资产&测试工具测试系统运营测试系统生态p 被测系统的健康度评估p 测试系统的健康度评估p 持续通过数据识别业务断点,匹
8、配测试系统解决p 基于开发平台建立测试工具、测试资产链接p 提供统一标准,降低测试能力共享共用的工作量p 测试能力在各业务间加速流转开放平台性能过载测试大模型测试容灾测试基本测试客户化场景测试兼容性测试可靠可用测试云服务测试云平台测试云解决方案测试云服务组合测试03测试系统平台技术框架关键技术测试系统业务架构被测试系统数字化模型环境建模框架华为云测试系统测试系统平台领域测试系统云服务功能测试系统可靠性测试系统性能测试系统安全测试系统升级测试系统容灾测试系统 部署测试系统统一测试系统云平台测试系统云服务测试系统云服务组合测试系统云解决方案测试系统计算存储网络MRSWAFRDSEIPaaS数据库X
9、XXXXX公有云XXX云标准化原子测试资产资产接入适配层测试系统设计引擎公共能力接入层测试系统逻辑架构目标系统测试系统(实例层)系统元素测试系统模板层(模板层)领域测试系统(能力层)L3实例层L2模板层L1能力层L0平台层XXX云平台测试系统XXX云服务测试系统解决方案测试系统模板云平台测试系统模板云服务测试系统模板容灾测试子系统安全测试子系统升级测试子系统门槛测试子系统上下电测试子系统性能过载测试子系统原子资产库资产设计管理测试系统资产库测试系统任务测试系统运营系统配置统一模型配置规格统一运营统一运维安全容灾特性清单测试系统构建平台(平台层)云服务组合测试系统模板通过“模型+模板”集成治理测
10、试资产,提供低码化、可视化的资产应用能力,测试能力支撑不同架构、业务场景下的测试活动,通过平台持续运营和治理测试资产,打造华为云计算体系的测试生态,提升测试效能。关键技术一:支持III原则的AW框架AW GeneratorAWDataTemplateLibEnv AdaptorAW ParserSSHClientRestClientReporterMonitorCommon LibOtherAW RegisterCodeImportInvokeIntegrateAPISDKInput OutputLogicAWGenp通过工程方式AW的多种方式复用p通过框架保证AW规范落地p统一测试语言,支撑
11、上层各种测试应用构建import AWClassfirst_arg=1seq=10,20,30AWClass.tempalate(first_arg,seq)AW Service APIAW1AW2AWxxAW库AW Reflect RouterOtherTestFrameworkTaskMgrAW SDKAW SDKAW SDK关键技术二:面向模型的测试代码设计EnvModel架构版本组网规格业务数据Get_Params()Set_Params()被测试系统EnvDataDriverp环境模型屏蔽环境差异,一份用例多环境应用p用例自动感知环境诉求,实现环境自主匹配关键技术三:自动精准评估AW
12、1AW2AWnAW1AW2AWnDFx验收功能验收代表客户验收资源控制评估模型引用自动客观生成AW执行打点观测数据上报测试设计AW执行打点场景1场景2架构模型p评估数据可追随p评估数据汇聚效率提升p更精细化的评估能力p基于模型属性变更的精准测试关键技术四:跨语言跨框架的执行框架TestAgentEnvDataDriverAW BusJava AWPython AWSDK AW调度器(scheduler)用例解析(parser)测试用例EnvData任务管理器(taskMgr)Other AW被测环境EnvModel同步数据测试激励/响应pAW参数来共享环境数据pAW可独立执行,屏蔽语言、框架差
13、异p测试用例通过EL格式结构化,与代码实现和数据解耦p用例AW级并发,提升测试执行效率关键技术五:测试数据池化User1User2User3User4鉴权AW测试用例1销户AW测试用例2注册AWUser5被测环境计费AW鉴权AW EnvModel.get_params(User,Idle)EnvDataDriver.Update()p测试资产绑定模型p提升测试用例执行稳定性p提升环境资源利用率p支持测试分析运营04成效与收益实践效果:可靠性-上下电测试(1)实践效果:可靠性-上下电测试(2)实践效果:收益总结测试效率:2天-6小时XXX n版本(通过测试系统)XXX n-1版本(未通过测试系统)执行次数:5次-100次覆盖场景:2个12个拦截问题:20个-91个2天600前后50100120前后214前后209060708090100前后感谢聆听关注QECon公众号