1、第六批大数据产品能力评测介绍姜春宇中国信息通信研究院云大所大数据技术主管大数据发展促进委员会办公室主任大数据产品能力评测发展历程截止第六批评测，已经有41家企业的55产品通过评测，完成88个测试。第一批评测华为、移动、星环、中兴、Ucloud的5个产品通过了大数据基准测试第二、三批评测8个产品通过了Hadoop基础能力评测，5个产品通过了性能专项评测第四批评测14个产品通过了基础能力评测第五批评测10个产品通过了基础能力评测，10个产品通过了性能专项评测，总共完成20次测试第六批评测29款产品通过了第六批大数据产品能力测评，总共完成36次测试2015 6-82016 5-8月2017 3月20

2、17 6-10月2018 3月大数据产品能力评测体系大数据产品能力评测基础能力指标导向 Hadoop平台 MPP数据库 数据集成工具 数据管理平台 数据挖掘平台 商业智能（BI）分析平台性能场景导向 Hadoop平台 MPP数据库类别名称目前版本基础平台产品大数据产品 Hadoop平台 第1部分：技术要求1.0大数据产品 Hadoop平台 第2部分：基础能力测试方法2.0大数据产品 Hadoop平台 第3部分：性能测试方法2.0大数据产品 MPP数据库 第1部分：技术要求1.0大数据产品 MPP数据库 第2部分：基础能力测试方法1.5大数据产品 MPP数据库 第3部分：性能测试方法1.0数据管

3、理产品大数据产品 数据集成工具 第1部分：技术要求1.0大数据产品 数据集成工具 第2部分：基础能力测试方法1.0大数据产品 数据管理平台 第1部分：技术要求1.0大数据产品 数据管理平台 第2部分：基础能力测试方法1.0分析工具大数据产品 商务智能（BI）分析工具 第1部分：技术要求1.0大数据产品 商务智能（BI）分析工具 第2部分：基础能力测试方法1.0大数据产品 数据挖掘平台 第1部分：技术要求1.0大数据产品 数据挖掘平台 第2部分：基础能力测试方法1.0应用和解决方案大数据解决方案 用户行为数据分析 第1部分：技术框架和指标体系 1.0从2014年6月到现在，数据中心联盟大数据产品

4、能力评测形成了基础能力和性能专项两类评测，基础能力覆盖6大类产品，性能覆盖2类产品，形成评测标准15项。第六批大数据产品能力评测数据测试数量6大类测试,36个测试项目36最大基础能力集群华为评测了大规模Hadoop平台基础能力评测，1000物理机节点集群规模达到5001个5001节点性能测试规模华为通过了300节点物理机性能评测新华三通过了200节点物理机性能评测300节点在2017年11月到2018年3月底，21家企业的29款产品通过了第六批大数据产品能力测评，共完成36个测试项目。性能最大数据规模大规模性能测试的测试规模为100TB100TB第六批大数据产品能力评测项目分布大数据产品基础能

5、力评测大数据产品性能评测Hadoop平台MPP数据库数据挖掘工具数据集成工具数据管理平台商务智能分析工具Hadoop平台 MPP数据库博宇通达星环星环科技 电信云公司中兴永洪博宇通达星环科技国网亿利 巨杉数据库 中兴通讯中兴中软国际腾讯云国网亿利石化盈科南大通用南大通用新华三东方金信石化盈科华为(5001节点)电信云公司星环Datablau华为(300节点)联通大数据新华三(200节点)烽火科技联通大数据联想铁科院星环电信云公司航天信息星环科技Hadoop基础能力测试方法可用性运维管理兼容性功能安全多租户易用性扩展性Namenode主节点失效恢复自动化部署ODBC兼容性数据导入认证租户管理工作

6、流创建集群动态扩展Datenode节点失效恢复资源监控JDBC兼容性SQL任务能力授权资源管理工作流管理集群动态收缩HMaster节点失效恢复作业监控SQL支持度NoSQL数据库加密资源隔离工作流监控RegionServer节点失效恢复集群操作 传统数据库同步机器学习审计资源监控ResouceManager节点失效恢复故障管理跨不同数据库表关联操作流处理能力Hive Server失效恢复日志管理异构硬件兼容性HDFS备份恢复配置管理操作系统兼容性HBase备份恢复权限管理双集群互备无宕机升级运维管理节点失效及恢复Hadoop平台基础能力包括八大项：功能、运维、多租户、可用性、安全、兼容性、易用

7、性、扩展性，总共44项测试用例MPP数据库基础能力功能运维安全扩展性可用性兼容性数据类型安装部署身份认证动态扩展测试关闭进程访问接口兼容性操作符资源监控加密快速扩展测试网络故障CPU兼容性函数服务管理审计扩容不中断业务整机宕机大数据体系兼容性DML操作会话管理权限缩容表连接查询作业管理备份子查询故障管理集群灾备表空间锁管理临时表动态诊断事件索引缓存管理事务支持用户管理自定义函数节点组管理存储过程存储分配管理查询工具分布及分区管理导入导出工具资源负载管理系统表/视图支持升级外部表集群间Dblink数据副本自动均衡MPP数据库基础能力认证包括六大项：功能、运维、安全、扩展性、可用性、兼容性总共49

8、项测试用例数据集成工具测试用例数据清洗/转换作业/任务管理数据源目标源安全性运维数据映射（可选）作业管理和调度关系型数据库数据加载到关系数据库认证安装部署条件过滤串行作业调度配置大数据平台体系数据加载到大数据平台权限用户管理去除重复字段作业一键暂停（可选）文件数据加载到本地文件（可选）数据传输安全（可选）计算器（可选）作业监控实时数据源（可选）数据（字段）替换作业超时预警（可选）网页网站数据（记录）合并（可选）日志管理数据（字段）拆分数据连接/多表联合（可选）自定义规则（可选）清洗比对（可选）数据管理平台测试用例数据源管理元数据管理 数据质量管理数据标准管理数据安全管理兼容性安全性其他其他其他

9、功能储备数据源分类（可选）元模型创建规则设置及管理（可选）标准分类管理划分信息等级（可选）操作系统兼容性（可选）统一认证/用户管理易用性（可选）数据模型管理模块数据源配置元数据分类展示（可选）任务管理标准创建脱敏加密管理（可选）浏览器兼容性（可选）日志审计高可用性（可选）主数据管理模块数据源修改元数据搜索查询任务监控标准修改硬件兼容性（可选）角色授权可扩展性（可选）数据生命周期管理模块数据源删除元数据采集配置质量报告生成（可选）标准删除（可选）租户隔离高可靠性（可选）资产目录管理模块数据源授权（可选）元数据导出问题数据管理（可选）标准搜索查询数据资产价值评估数据源连接测试（可选）元数据详情标准

10、导入数据资产运营流通数据源搜索查询元数据历史信息管理（可选）标准导出血缘分析标准版本管理（可选）影响分析标准执行落地情况查询（可选）元数据其他分析管理（可选）商务智能（BI）分析工具数据源分析功能展示功能报告功能集成能力安全性安全性关系型数据库可视化模型设计一般图表报表设计器第三方应用整合系统传输安全大数据平台数据处理分析（可选）特殊图表类Excel设计（可选）通过URL将图表/图集页面嵌入到宿主应用页面登录攻击防护文本文件度量函数表达式（可选）图表属性设置报表函数运算（可选）动态数据权限过滤参数系统操作日志批处理、流处理（可选）算法建模（可选）GIS组件超级链接（可选）资源访问安全统一模型设

11、置功能（可选）多种图形组合模型自动化更新刷新实时、可联动的数据监控与预警评测流程评测流程：认证报名，提交材料企业准备测试环境，测试专家现场审核，给出测试结论企业互评，客户专家与学术专家评审颁发通过证书评审流程：邀请评审专家用户方专家+学术专家+企业专家测试专家通报本次测试综述企业答辩企业互评，评审专家给出评审结论审核流程检查软件版本检查组件版本是否使用测试工具组件列表明。数据检查数据大小对于表检查行数、列数数据内容建表语句副本数执行脚本。执行过程清除缓存任务正常执行集群的资源使用情况结果检查记录测试时间检查结果是否执行正确。文件留存关键jar包执行脚本执行日志。Hadoop和MPP数据库基础能

12、力评测情况企业参评服务地点完成数量博宇通达Hadoop基础能力评测北京32项+6项+1项可选部分通过国网亿利Hadoop基础能力评测福州32项+10项石化盈科Hadoop基础能力评测北京32项+12项华为Hadoop基础能力评测（5000）西安32项+12项联通大数据Hadoop基础能力评测北京32项+12项烽火科技Hadoop基础能力评测武汉32项+11项联想Hadoop基础能力评测（年检）北京32项+11项星环Hadoop基础能力评测（年检）上海32项+11项航天信息Hadoop基础能力评测（年检）北京32项+11项企业参评服务地点完成数量星环MPP数据库基础能力认证上海25项+8项巨杉M

13、PP数据库基础能力认证广州25项+12项+1项可选部分通过南大通用MPP数据基础能力评测（年检）天津Hadoop基础能力详细情况企业集群无宕机升级多租户资源监控和统计双集群互备运维管理节点HASQL支持度跨数据库关联操作国产操作系统兼容性博宇通达未测试未测试未测试未测试未测试国网亿利未测试未测试石化盈科华为联通大数据烽火科技未测试联想未测试星环未测试航天信息未测试MPP数据库详细测试情况序号测试项目星环巨杉数据库功能表空间（可选）利用HDFS配额实现未测试临时表未测试自定义函数未测试存储过程JavaScript实现导入导出工具本地csv、json文件外部表（可选）未测试集群间Dblink（可选

14、）未测试数据副本自动均衡（可选）未测试部分通过，删除副本，集群自动恢复管理运维锁管理（可选）未测试未测试动态诊断事件（可选）未测试缓存管理（可选）未测试未测试节点组管理（可选）未测试存储分配管理（可选）未测试未测试分布及分区管理（可选）未测试资源负载管理（可选）未测试未测试升级（可选）未测试兼容性CPU兼容性（可选）未测试未测试大数据体系兼容性（可选）未测试可靠性备份（可选）未测试集群灾备（可选）未测试整机宕机（可选）未测试扩展性快速扩展测试（可选）未测试缩容（可选）未测试未测试数据挖掘工具和商务智能完成情况企业参评服务地点完成数量星环科技数据挖掘工具基础能力评测上海32项通过南大通用数据挖掘

15、工具基础能力评测天津31项通过中兴通讯数据挖掘工具基础能力评测南京32项通过电信云公司数据挖掘工具基础能力评测北京32项通过企业参评服务地点完成数量永洪商务智能（BI）分析工具北京24项通过腾讯云商务智能（BI）分析工具北京24项通过数据集成和数据管理完成情况企业参评服务地点完成数量电信云公司数据集成工具基础能力评测北京23项通过中兴通讯数据集成工具基础能力评测南京22项通过新华三数据集成工具基础能力评测郑州24项通过星环数据集成工具基础能力评测上海22项+1项部分通过企业参评服务地点完成数量中兴通讯数据管理平台基础能力评测南京42项+1项部分通过Datablau数据管理平台基础能力评测北京4

16、3项+1项部分通过东方金信数据管理平台基础能力评测北京40项+2项部分通过中软国际数据管理平台基础能力评测北京39项+1项通过性能用例分布Hadoop平台性能专项认证包括SQL任务、NoSQL任务、机器学习和批处理四类任务，总共15个测试用例 SQL测试覆盖30TB数据规模 NoSQL测试有20亿条数据的读写SQL任务NoSQL任务机器学习I/O密集型任务数据并发导入Kmeans 无监督聚类CPU密集型95%的读，5%的写SVM报表任务50%的读和50%的写分析型任务交互式查询测试环境组件配置台数CPU2*英特尔至强E5-2620v32.4GHz,15M缓存32内存8*16GBRDIMM,21

17、33MT/s32硬盘10*1.2TB10KRPMSAS6Gbps2.5英寸热插拔硬盘2210*1.2TB10KRPMSAS12Gbps2.5英寸热插拔硬盘10网卡单口万兆网卡32交换机锐捷RG-S6220-48XS4QXS万兆交换机1性能评测情况序号负载描述节点数数据量1SQL Query1由7个事实表和17个维度表构成，10个查询语句，覆盖了I/O密集型任务、CPU密集型任务、报表任务、分析型任务、交互式查询任务3030TB2SQL Query23030TB3SQL Query33030TB4SQL Query43030TB5SQL Query53030TB6SQL Query63030TB

18、7SQL Query73030TB8SQL Query83030TB9SQL Query93030TB10SQL Query103030TB11NoSQL Load每个客户执行2亿个操作，10个客户端一共执行20亿个操作，每个操作执行大概1KB大小的数据2020亿条12NoSQL Read-mostly2020亿条13NoSQL Write/Update2020亿条14K-meansSparkBench来生成数据，执行测试30437GB15SVM301.8TB性能测试综述中位值与平均值有较大差距，说明部分企业与其他企业差距较大Hbase测试项方差最大，说明参评企业在此项浮动较大观察1：大数据基

19、础平台技术路线 平台产品已经成熟稳定,总体来看68%的产品基于HDP和CDH的开源版本进行二次开发，其他基于开源社区版，容器化、多租户和对大规模集群的支持是Hadoop平台的主要趋势。MPP数据库的架构和功能差别较大，一种是在开源数据库的基础上进行封装和二次开发；一种是将SQL引擎嫁接到某种存储库之上；还有就是完全的自研。差异点主要在SQL的兼容、运维管理、扩展性等方面。观察2:性能相比17年,18的机器内存从64GB扩展到128GBSQL的数据规模是30TB,10条测试语句，HBase的并发量是20亿条数据,3个负载Hadoop平台性能相较去年有所提升，原因之一是机器性能的提升。性能测试是综

20、合性的考量，涉及现场人员前期准备、积累和临场发挥，也与企业能够投入的人力资源和物理资源相关，考察现场人员时间进度安全，调优的策略等。单位是秒，数值越小性能越好单位是吞吐量，数值越大性能越好观察3：数据管理类产品数据集成和数据管理都从项目式的工具逐渐沉淀成为相对稳定和通用的产品。从评测的产品来看，数据管理类产品并没有形成统一的认识，企业产品的侧重点不同，元数据管理、数据质量管理是最重要的内容，有些产品侧重于数据建模和模型管理，有些产品侧重于数据安全管理。数据源的管理和支持差异较大，集成主要采用开源框架比较多。企业产品电信云公司中国电信 飞龙-大数据PaaS平台中兴中兴通讯数据集成平台 Golde

21、nData UOC_DataIntegration新华三H3C DataEngine数据集成软件星环星环大数据整合工具软件V5.0、星环计算任务调度软件V5.0 企业产品中兴中兴通讯数据管理平台 GoldenData UOC_DataManagement东方金信海盒数据资产管理系统中软国际DAM数据资产管理平台北京数语科技星环大数据整合工具软件V5.0、星环计算任务调度软件V5.0 基础类产品数据管理类产品分析工具产品行业解决方案HadoopMPP数据库数据集成数据管理数据挖掘BI工具库大数据产品能力评测未来计划基础类产品数据管理类产品分析工具产品HadoopMPP数据库数据集成数据管理数据挖掘BI工具库时序数据库数据安全OLAP引擎工业政务金融解决方案通用应用用户行为风险控制精准营销以技术的产业化为目标，持续梳理底层技术的变化，不断加强大数据产品和解决方案的质检工作，提升产品的质量，为用户选型提供支持。