1、京东健康数据测试平台实践之路李建爽李建爽拥有10年以上互联网及传统行业丰富测试经验，专注于效能平台架构设计开发、研发效能度量体系建设等。参与撰写图书京东质量团队转型实践-从测试到测试开发的蜕变嘉宾照片目录CONTENTS大数据的现状01 数据测试的痛点是什么？02 平台搭建架构与实践03 平台带来的收益04 数据测试平台的未来规划05 01大数据的现状大数据的现状随着信息技术的发展，大数据规模及其存储容量正在以指数级的速度增长，6V时代已经到来Volume-数据量大Velocity-速度快Variety-多样性Veracity-真实性Valence-连通性Value-价值大02数据测试的痛点是

2、什么？数据测试的痛点你的数据测试足够充分么？需求上线后，你能确保所有的数据无任何质量问题么？数据测试的痛点0201用例选取不充分数据质量不可靠需求多、迭代快，数据量大测试资源缺乏、对数据情况了解不充分校验不够充分，历史数据问题重复、缺失、格式不一致正常数据测试+异常数据测试？=全部测试正常数据OK+异常数据OK？=无质量问题03平台搭建的架构与实践数据测试平台搭建架构与实践平台要解决的问题是什么？01平台的特点02平台的架构03平台在项目的应用及案例04平台要解决的问题是什么？整体数据分析结构分析数据分析分布分析血缘关系不可靠数据分析重复丢失格式不一致等等平台搭建架构与实践平台要解决的问题是什

3、么？01平台的特点02平台的架构03平台在项目的应用及案例04平台的特点灵活的扩展性、可配置化SQL模版、质量分析规则、邮件模板可配置化自动化执行支持手动触发、自动触发；支持周期性执行；广泛的数据源支持支持关系型数据库、大数据平台多维度的数据质量分析模型结构分析、数据分析、分布分析、血缘关系等方面可视化用户操作可视化多维度详细报告展示平台特点多样化的SQL模板主键测试、异常值测试、枚举值测试、边界值测试、敏感数据测试、用户自定义等等平台搭建架构与实践平台要解决的问题是什么？01平台的特点02平台的架构03平台在项目的应用及案例04平台搭建架构与实践-平台的架构数据缺陷库研发自测功能测试交付验收

4、用户体验线上事故数据样本SQL模版数据测试规则血缘关系建立缺陷规则缺陷关注度计算逻辑类用户自定义需求分析扣分机制数据优化建议量化测试经验AI分析驱动管理MYSQLCKHIVEPRESTOSPARK任务样本数据优化建议模版管理配置管理账号管理执行并发报告数据缺陷优化建议各维度详细信息健康度分数操作入口周期执行手动触发客户端驱动层数据质量分析模型数据层.报告管理数据边界数据安全数据结构数据分析数据分布数据质量分析模型-质量规则质量规则主要包括：主键问题、行重复、异常值、字段命名、备注、枚举分布、枚举格式不统一、安全问题、数据不完整等质量规则其它辅助规则：血缘关系 用户自定义数据质量分析模型-SQL

5、模板【店员排行看板】店员ID 34212，销售数据增加一倍由于店员修改过姓名，导致一个用户ID对应两个用户姓名，关联后聚合数据翻倍select count(employee_id)total_count,count(distinct employee_id)distinct_countfrom employee_tableselect count(column_name)total_count,count(distinct column_name)distinct_count from$table_name业务缺陷拓展性通用性多样性数据缺陷SQL(主键问题)抽象模板可视化执行过程（1）SQL模

6、板1SQL模板2SQL模板n字段模板分类打标用例生成测试范围SQL模板1SQL模板2SQL模板n表模板库表信息SQL用例执行过程（2）执行并发MYSQLHIVECK同步样本数据异步PRESTOSPARKSQL用例集用例执行样本落库异常机制处理分类处理落库执行过程（3）结构信息数据分析用户定义血缘关系数据分布SQL执行数据质量分析样本数据质量分析调整优化接口调用AI辅助缺陷信息优化建议缺陷关注度健康度分数缺陷提报报告发送研发处理统计分析报告输出模版配置平台搭建架构与实践平台要解决的问题是什么？01平台的特点02平台的架构03平台在项目的应用及案例04数据测试平台-操作选择库表信息设置测试范围提交

7、执行任务查看报告步骤1步骤2步骤3步骤4数据测试平台报告-结构分析库表结构展示AI分析+定义的规则优化建议支持反复修改、随时分析数据测试平台报告-数据分析主键测试异常值测试边界值测试其他测试敏感数据测试数据测试平台报告-分布分析枚举分布测试异常值测试数据测试平台报告-血缘关系分析潜在问题分析数据测试平台报告-优化建议、健康度分数健康度分数缺陷关注度缺陷信息缺陷类型分布优化建议数据测试平台报告-缺陷提报自动提报缺陷调整质量规则常见案例分析04平台带来的收益平台带来的收益-项目周期上线阶段测试阶段需求分析研发阶段项 目 周 期对业务数据进行初步探查分析，结合业务场景，辅助产品人员做出决策。进行数据探查和健康度分析，可以有针对性的在代码中增加异常处理机制。测试人员可以针对不同业务,对不同数据源的数据进行初步了解、分析、测试。可以通过周期性监测数据健康度，并给出问题建议，来推动数据治理。平台带来的收益-质量效能测试工具有效缺陷提升21%数据质量模型准确率提升15%测试周期缩短20%探查用例覆盖率提升至90+%质量效能提升05数据测试平台的未来规划数据测试平台未来规划可视化自动化智能化精准度数据测试平台感谢聆听关注QECon公众号