《2刘晨东-民生银行分布式核心测试实践v2.1.pdf》由会员分享,可在线阅读,更多相关《2刘晨东-民生银行分布式核心测试实践v2.1.pdf(21页珍藏版)》请在三个皮匠报告上搜索。
1、中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum民生银行分布式核心测试实践民生银行分布式核心测试实践刘晨东 中国民生银行信息科技部5/30/202322021 iSQE 项目概况01测试方案与实践02项目总结03目录Contents32021 iSQE 1.1 1.1 发改委云计算工程重点项目发改委云计算工程重点项目2014年民生银行启动金融云通用解决方案与分布式核心系统研发项目,被列为国家发改委云计算工程重点项目之一,并获得国家战略性新兴产业专项资金补助 去IOE、自主设计、分布式核心 国产化+开
2、源中间件为主体、自主可控的Pass平台 以国产服务器、存储和数通产品为主的基础资源层 可示范、可推广的通用金融云解决方案和服务体系核心业务行业标杆国内第1家分布式核心的银行国内第1家多活、全面云化的银行国内第1家全面应用微服务架构的银行科技创新国家发改委专项课题研究支持18项发明专利所获荣誉银监会一类成果中国人民银行科技发展二等奖42021 iSQE 1.2 1.2 分布式核心研发历程分布式核心研发历程2014国家发改委项目立项通过分布式项目组成立2014-2016分布式技术平台研发2014项目立项启动平台预研,分布式组件技术选型分布式中间件平台分布式服务+分布式数据库2019-2020分布式
3、核心系统研发投产基于分布式平台的应用系统 DCBS 1.0首例基于分布式平台的银行关键应用系统满足直销银行互联网背景下的特性需求2017-2018直销银行分布式电子账户研发投产升级至 DCBS 2.0,兼容1.0核心系统从SAP升级替换为DCBS客户/凭证/账户按客户分批迁移52021 iSQE 1.3 1.3 分布式核心项目范围和目标分布式核心项目范围和目标渠道系统(10+)产品系统(140+)服务集成(3)柜面手机网银贷款理财外汇SAP核心分布式核心数据应用系统(10+)支付服务非支付服务公共路由核算报表回单ECIF双核心并行,不停机客户无感迁移10亿级客户,5万TPS,30毫秒响应时间分
4、布式技术平台+运维平台存量客户:1亿+存款产品:220+卡产品:10+业务功能:2900+62021 iSQE 项目概况01测试方案与实践02项目总结03目录Contents72021 iSQE 2.1 2.1 基本测试策略基本测试策略01.高效测试组织 科技业务协同 产品驱动测试 协同测试 测试过程改进03.分布式架构性能测试02.手工/自动化测试结合04.云测试平台支撑 基础产品标准业务测试 迁移数据比对 测试数据准备 分布式平台组件 高性能高可用 线性扩展能力 协同工作 多任务管理 缺陷管理 实时统计分析 测试资产沉淀82021 iSQE 2.2 2.2 测试组织测试组织10 总行部门4
5、0 分行100 测试人员组织跨领域复合测试03多部门协同测试02 总分行联动 科技业务混编 业务初始阶段介入产品驱动测试01 产品包干制 产品全生命周期测试 产品差异化测试 功能测试 自动化测试 性能测试3 套测试环境8 轮功能测试3 轮迁移演练过程40000 编写案例100000 执行案例4300 有效缺陷成效92021 iSQE 2.3 2.3 分布式专项测试分布式专项测试特殊场景测试技术异常测试路由测试迁移测试跨分片联机场景:集成服务层拆分单边跨分片批量场景:客户合并主附卡跨客户利息转出跨客户批量文件处理异常分析:内部远程调用路由同步消息传递事务一致性异常模拟:停止服务手工锁定异常处理:
6、错误重试业务补偿静态数据比对:人工比对自动比对迁入功能验证:中间状态功能差异迁移流程验证:迁移演练功能验证路由要素:证件号客户号账号凭证号签约编号路由指向:SAP核心分布式核心锁定(迁移中)102021 iSQE 2.4 2.4 深度融合自动化测试深度融合自动化测试回归测试重点系统关键功能快速执行缺陷回归功能验证隐蔽性字段技术类接口报文模拟新老核心功能比对数据测试迁移数据比对数据抽取比对自动数据准备功能测试在技术接口验证、数据比对等方面存在不足之处;引入自动化测试优势互补。112021 iSQE 2.5 2.5 自动化测试实施策略自动化测试实施策略目标策略成效 覆盖20%柜面渠道核心业务相关的
7、关键场景 柜面渠道业务日志追踪+报文解析 关注渠道下各模块间的调用关系和集成逻辑 案例15000条 发现核心功能缺陷100+123 覆盖100%集成层服务 完成场景-功能点-案例-服务的映射建立 SAP和分布式核心集成服务处理差异比对 串接集成层服务实现业务级验证,兼顾迁移验证 案例5000条 发现迁移相关功能缺陷200+覆盖100%分布式核心接口 新功能验证+存量核心业务全面回归 SAP核心和分布式核心接口层面比对 单边逻辑+集成逻辑组合测试 案例8000条 发现核心功能缺陷300+总体策略:分层测试,先接口后场景,先集成层后核心层122021 iSQE 2.6 2.6 分布式核心性能测试面
8、临的挑战分布式核心性能测试面临的挑战020104030506测试数据准备困难模拟亿级规模的客户及账户数量海量测试数据的铺底、抽取、使用技术异常模拟困难分布式组件失效、网络中断、宕机等不同类型的异常需快速模拟和恢复监控统计繁琐测试服务器数百台监控部署、资源收集等工作量繁重无法高效定位性能瓶颈测试场景设计复杂分布式平台技术架构复杂长链路:渠道层、集成层、产品层、核心层联机性能、异常、可靠性、稳定性、端到端动账流程冗长计提、结息等需模拟季度动账流水人工调度消耗大量人力物力批处理文件准备困难手工准备文件耗时费力无法应对反复的性能回归验证132021 iSQE 2.7 2.7 分布式核心性能测试解决方案
9、分布式核心性能测试解决方案性 能 测 试 管 控 平 台-自研性能测试管控平台-监控批量启停-统计图表自动生成-平台指令集调度-性能热点抓取06自 动 化 动 账80-海量账户数据抽取、动账、EOD切日、同步变式日期等自动统一调度05技 术 异 常 测 试-自研混沌实验室-页面化配置和定制-轻松模拟网络异常、应用宕机、组件失效、服务耗时变长等04批 处 理 文 件 生 成 平 台80-工具化、自动化、规范化-与测试数据影子库无缝集成03测 试 数 据 设 计-自研测试数据影子库-亿级规模数据铺底-多维度数据抽取使用02测 试 场 景 设 计80-独立/容量/峰值/疲劳场景-特殊数据场景-技术异
10、常场景-线性扩展能力场景-流控超时场景-批处理场景-端到端全链路场景01142021 iSQE 2.8 2.8 分布式核心技术异常测试分布式核心技术异常测试应用网络中断Zookeeper连接失败/自动重连MQ连接失败/自动重连配置中心连接失败/自动重连Sequence连接失败/自动重连Nginx探活验证ZDAL连接失败/自动重连组件失效MQ NameServer单点/整体失效MQ单点/整体失效配置中心单点/整体失效Zookeeper单点/整体失效1应用宕机/响应时间变长部分应用宕机/杀进程全部应用宕机/杀进程Dubbo服务响应慢3数据库宕机/响应时间变长数据库宕机应用端增加对数据库访问延时4批
11、处理异常批处理节点异常/杀进程网络中断网络丢包6全局路由异常全局路由应用异常/杀进程52混沌实验室支持8种类型(OS、JVM、mysql、k8s、http、进程、dubbo、rocketmq)共计26种异常模拟实验,基本覆盖常用的异常场景测试(网络中断、网络丢包、网络延时、杀进程等)152021 iSQE 2.9 2.9 基于基于TMMiTMMi的测试过程改进的测试过程改进测试规范性提升资产复用缺陷预防质量控制体系基于风险的测试分布式核心系统测试项目T M M I 咨 询 关 键 举 措 助 力 项 目 实 施162021 iSQE 2.10 2.10 测试工具支撑测试工具支撑-云测试平台总览
12、云测试平台总览W e b 测 试 系 统移 动 A P P 测 试 系 统接 口 测 试 系 统数 据 准 备 系 统测 试 引 擎测 试 工 作 台自动化测试设计测试过程管理|测试监理操作界面管理视图测试工作台自动化工作台测试项目管理测试需求管理测试计划管理测试任务管理测试进度管理测试案例管理测试数据管理测试证迹管理测试评审管理测试缺陷管理测试配置管理测试变更管理测试资产管理场景库案例库数据准备库测试质量管理质量管理计划质量系数管理质量组织管理质量数据收集质量差异分析质量报告管理质量规范管理质量流程管理问题分析改进原子功能点设计案例模型设计自动化案例设计自动化数据设计自动化测试执行任务执行驱
13、动自动化案例执行驱动案例模型执行驱动原子功能点执行驱动自动化运行监控任务运行监控自动化案例运行监控案例模型运行监控原子功能点运行监控自动化测试调度任务/模型分包运行资源调度执行引擎适配测试结果汇聚数据准备功能点数据准备模型管理数据集管理数据准备任务管理原子功能点封装被测系统管理执行资源管理原子功能点执行移动设备管理执行调度管理原子功能点封装被测系统管理执行资源管理原子功能点执行浏览器管理执行调度管理环境管理原子服务管理执行资源管理被测系统管理原子功能点封装执行调度管理协议适配服务原子功能点执行执行机管理经验库测 试 管 理 系 统功能测试视图自动化测试视图性能测试视图质量管理视图测试监理视图测
14、试统计分析自动化结果管理测试报告生成测试结告查询测试报告发送缺 陷 管 理 系 统缺陷基本信息管理缺陷流程管理缺陷日志管理缺陷模版管理快速造数任务数据模板管理配置项管理缺陷过滤条件管理缺陷展示管理缺陷关联信息管理统计分析管理缺陷附件管理数据字典管理性 能 测 试 系 统性能测试流程管理性能测试任务管理性能测试监控管理性能测试场景管理性能测试报告管理172021 iSQE 2.11 2.11 测试工具支撑测试工具支撑-自动化测试工具集自动化测试工具集自动化质量门禁自动化效能分析自动化监控自动化资产库自动化设计自动化数据准备自动化报告自动化执行,自动化工作台基 于 测 试 引 擎 构 建 自 动
15、化 测 试 体 系182021 iSQE 2.12 2.12 测试工具测试工具支撑支撑-性能测试性能测试工具集工具集测试场景调度性能测试工具平台分布式节点压测测试报告管理报表管理性能基线管理链路性能分析性能阈值预警DBPAAS监控集成实时监控大屏性能热点分析性能快照对比链路跟踪分析参数智能推荐性能压测模块性能监控诊断模块渠道层应用集群A集成层应用集群B核心层应用集群C探针探针探针全链路性能监控汇聚全链路性能测试应用场景测试任务管理测试环境管理测试数据处理多协议脚本开发测试场景设计自定义探针管理指令集管理TESLA监控集成听云APM集成主机探针管理容器探针管理数据库探针管理中间件探针管理1920
16、21 iSQE 项目概况01测试方案与实践02项目总结03目录Contents202021 iSQE 3.1 3.1 收益总结收益总结0605040302014.通过TMMi5级认证并持续改进5.云测平台支撑能力大幅提升6.分布式核心测试资产全面积累1.提供大规模项目测试经验借鉴2.形成自动化测试示范效应3.分布式性能测试技术有效验证为自动化测试全面推广奠定基础完备的核心系统测试资产易于复用TMMi试点应用和过程改进性能测试配套工具在其它项目继续沿用指导同类项目高效组织协调测试测试工具、缺陷管理、统计分析功能改进Thank you Thank you 中国国际软件质量工程峰会中国国际软件质量工程峰会International Software Quality Engineering Forum