《分布式数据库产业与标准研究-分布式数据库专场(34页).pdf》由会员分享,可在线阅读,更多相关《分布式数据库产业与标准研究-分布式数据库专场(34页).pdf(34页珍藏版)》请在三个皮匠报告上搜索。
1、中国信息通信研究院中国信息通信研究院云云计算与大数据研究所计算与大数据研究所王妙琼王妙琼DB Engines 2019年年11月月 DB Engines排名方法排名方法相关站点多搜索多专业网站讨论多招人多职业网站讨论多社交网站讨论多技术指标?新的好产品肯定有,新的好技术肯定有,热度呢?知名度呢?赚的钱呢?生态又是什么?Unit 02 分布式数据库标准项目介绍Unit 03 分布式数据库产业测试观察Unit 01 背景介绍Unit 04 未来工作计划Unit 01 背景介绍邮电部政企合一邮电合营邮电部邮电部邮电科学研邮电科学研究院究院政政 府府研究院研究院19571957年年邮电部政企分开邮电分
2、营邮电部邮电部电信科学研电信科学研究规划院究规划院19941994年年邮电部电子部撤销信产部组建信产部信产部电信研究院电信研究院19981998年年信产部撤销工信部组建工信部工信部电信研究院电信研究院20082008年年工信部中国信息中国信息通信研究院通信研究院20142014年年上世纪90年代电信业大建设大发展期;新世纪以来电信业改革开放和发展转型期;近10年信息通信大行业发展创新期。重大决策支撑者国家通信网络建设和通信行业发展的各个五年规划/计划、年度实施规划和专项规划;国家通信网络技术体制、编号方案。行业发展规划者引领技术标准化工作,牵头两千余项通信标准制修订;组织协调我国参与ITU、3
3、GPP等国际标准化工作,推动我国实现从参与到引领国际标准制定的转变。技术标准引领者2G/3G/4G移动通信发展和TDS/TD-LTE自主创新的顶层设计、标准制定、试验验证、产业推进;移动通信、移动互联网、下一代互联网、云计算、物联网等产业技术研究和行业公共服务平台。产业创新推动者在市场开放、服务质量、互联互通、资源管理、设备入网等关键领域全面支撑电信监管实践;建立互联网性能监测与宽带测速、IP地址/域名数据库、应急通信指挥调度等监管支撑平台。政府监管服务者政府智库政府智库行业平台行业平台产业视角产业视角第三方视角第三方视角50个产品截止第九批评测,已经有50款数据库产品通过评测。Unit 02
4、 分布式数据库标准项目介绍研究范围发展历程成果分析型数据库16年-至今行业标准-大数据 分布式分析性数据库 技术要求与测试方法功能性测试-15款产品通过基础能力测试(含512节点大规模测试)性能测试-6款产品通过性能测试(含640节点大规模测试)选型咨询-为金融、电信、政务行业等用户提供选型咨询服务事务型数据库17年-至今行业标准-大数据 分布式事务数据库 技术要求与测试方法白皮书-金融分布式事务数据库白皮书(1.0)测试工具-国际首款针对银行场景的性能测试工具功能性测试-13款产品通过基础能力测试选型咨询-为金融机构提供选型咨询服务时序数据库18年-至今行业标准-大数据 时序数据库 技术要求
5、与测试方法测试工具-国际首款针对工业互联网领域的性能测试工具功能性测试-8款产品通过基础能力测试性能测试-4款产品通过性能测试选型咨询-为工业企业提供选型咨询服务分类分类数据量级数据量级数据结构数据结构响应时间响应时间处理类型处理类型类型类型1PB级级非结构化非结构化/半结构化半结构化小时以上小时以上批处理,复杂处理(迭代少)批处理,复杂处理(迭代少)类型类型2PB级级非结构化非结构化/半结构化半结构化秒级秒级交互处理,简单查询,数据可更新交互处理,简单查询,数据可更新类型类型3TB级级结构化结构化/非结构化非结构化/半半结构化结构化10秒级秒级批处理,复杂迭代处理批处理,复杂迭代处理类型类型
6、4TB-PB级级结构化结构化秒级秒级/分钟级分钟级即席查询,复杂数据加工即席查询,复杂数据加工类型类型5PB级级结构化结构化分钟级分钟级批处理,复杂关系类运算批处理,复杂关系类运算类型类型6TB级级结构化结构化毫秒级毫秒级/秒级秒级/分分钟级钟级复杂关系类处理,支持任意更新复杂关系类处理,支持任意更新类型类型7GB级级结构化结构化微秒级微秒级/毫秒级毫秒级复杂关系类处理,支持任意更新复杂关系类处理,支持任意更新类型类型8GB、TB级级非结构化非结构化毫秒级毫秒级复杂事件处理,不涉及永久性处理复杂事件处理,不涉及永久性处理从大数据平从大数据平台选型角度台选型角度出发,究竟出发,究竟是是hadoo
7、p还还是是mpp?2016.6编制会2016.9第一批测试2017.5第二批测试2017.12第三批测试2018.6第四批测试2019.3第五批测试标准参与单位:标准参与单位:中国信息通信研究院华为技术有限公司北京百度网讯科技有限公司腾讯云计算有限公司阿里云计算有限公司电信云计算有限公司联合网络通讯有限公司中移(苏州)软件技术有限公司天津南大通用数据技术有限公司星环信息科技(上海)有限公司中兴通讯股份有限公司针对大数据平针对大数据平台选型过程中台选型过程中hadoop和和mpp的选择问题编的选择问题编制了白皮书。制了白皮书。分布式分析型数据库基础能力评测标准,已正式成为行业标准YD/T 121
8、3-2016大数据 分布式分析型数据库技术要求与测试方法 评测项:51项(30必选+21可选)公司名称公司名称产品名称产品名称测试类型测试类型天津神舟通用数据技术有限公司天津神舟通用数据技术有限公司神通数据库管理系统神通数据库管理系统基础能力基础能力天津南大通用数据技术股份有限公司天津南大通用数据技术股份有限公司GBase 8a MPP Cluster基础能力基础能力/性能性能中移(苏州)软件技术有限公司中移(苏州)软件技术有限公司中移软件分布式混合型并行关系型数据库系统软件中移软件分布式混合型并行关系型数据库系统软件基础能力基础能力/性能性能贵州易鲸捷信息技术有限公司贵州易鲸捷信息技术有限公
9、司易鲸捷数据库管理系统易鲸捷数据库管理系统简称:简称:EsgynDB基础能力基础能力北京酷克数据科技有限公司北京酷克数据科技有限公司HashData数据仓库数据仓库基础能力基础能力百度网讯科技有限公司百度网讯科技有限公司 百度数据仓库百度数据仓库Doris V3.4基础能力基础能力杭州数梦工场科技有限公司杭州数梦工场科技有限公司数梦工场大规模分析型数据库数梦工场大规模分析型数据库DThink ADB基础能力基础能力广州巨杉软件开发有限公司广州巨杉软件开发有限公司SequoiaDB巨杉数据库巨杉数据库基础能力基础能力星环信息科技(上海)有限公司星环信息科技(上海)有限公司星环分布式闪存数据库软件
10、(星环分布式闪存数据库软件(Transwarp ArgoDB)基础能力基础能力/性能性能北京国双科技有限公司北京国双科技有限公司国双并行数据仓库系统国双并行数据仓库系统简称:简称:Gridsum ZETA PDW基础能力基础能力/性能性能腾讯云计算(北京)有限责任公司腾讯云计算(北京)有限责任公司TBase基础能力基础能力阿里云计算有限公司阿里云计算有限公司Analytic DB基础能力基础能力/性能(大规模)性能(大规模)新华三技术有限公司新华三技术有限公司H3C DataEngine MPP基础能力基础能力/性能(大规模)性能(大规模)华为技术有限公司华为技术有限公司GuassDB 200
11、基础能力(大规模)基础能力(大规模)南威软件股份有限公司南威软件股份有限公司天河大数据基础平台天河大数据基础平台基础能力基础能力动力内生动力内生市场很大市场很大“分分 布布 式式 事事 务务 数数 据据 库库 应应 用用 在在 金金 融融 领领 域域 很很 有有 必必 要要 分布式事务数据库是什么?分布式事务数据库是什么?和现有数据库系统区别是什么?和现有数据库系统区别是什么?分布式事务数据库现在发展的怎么样?分布式事务数据库现在发展的怎么样?具体怎么落地应用?具体怎么落地应用?应用之后会对业务造成什么影响?应用之后会对业务造成什么影响?应用之后对现有人员和资源改变是什么?应用之后对现有人员和
12、资源改变是什么?有没有其他人已经成熟的应用案例借鉴?有没有其他人已经成熟的应用案例借鉴?是不是某些细化的金融场景?是不是某些细化的金融场景?金融行业和其他行业的区别?金融行业和其他行业的区别?金融监管机构的导向是什么?金融监管机构的导向是什么?有什么必要?有什么必要?紧迫性有多强?紧迫性有多强?长周期内是不是一直有强需求长周期内是不是一直有强需求不成熟不成熟项目组宗旨项目组宗旨 围绕金融分布式事务数据库主题,搭建产学研统一平台,共同探索研究金融围绕金融分布式事务数据库主题,搭建产学研统一平台,共同探索研究金融级别分布式事务数据库国际标准、应用路线、产业布局等,推进中国金融业分布级别分布式事务数
13、据库国际标准、应用路线、产业布局等,推进中国金融业分布式转型进程。式转型进程。组织形式组织形式牵头单位:中国信息通信研究院云计算与大数据研究所 支付清算协会金融科技专业委员会当前参与单位:工商银行、中信银行、北京银行、光大银行、建设银行、民生银行 已举行项目组集中会议举行7次,平均5小时/次已确定项目组宗旨、工作目标、工作计划已制定大数据产品 分布式事务数据库 第一部分:技术要求已制定大数据产品 分布式事务数据库 第二部分:测试方法已制定金融分布式事务数据库白皮书(1.0)已完成业内11款分布式事务数据库产品测试项目组进展项目组进展华为技术有限公司、中兴通讯股份有限公司、蚂蚁金融服务集团、Pi
14、ngCAP、腾讯云计算(北京)有限责任公司、广州巨杉软件开发有限公司、上海热璞网络科技有限公司、天津南大通用数据技术股份有限公司、上海爱可生信息技术股份有限公司分布式事务数据库基础能力评测包括六大项:基本功能、管理能力、兼容能力、高可用、安全性、扩展性总共50项测试用例公司名称公司名称产品名称产品名称测试类型测试类型腾讯云计算(北京)有限责任公司腾讯云计算(北京)有限责任公司TDSQL关系型数据库管理系统软件关系型数据库管理系统软件基础能力基础能力北京百度网讯科技有限公司北京百度网讯科技有限公司百度分布式事务数据库百度分布式事务数据库TafDB基础能力基础能力阿里云计算有限公司阿里云计算有限公
15、司分布式关系型数据库服务分布式关系型数据库服务DRDS基础能力基础能力上海爱可生信息技术股份有限公司上海爱可生信息技术股份有限公司云树分布式数据库软件云树分布式数据库软件基础能力基础能力广州巨杉软件开发有限公司广州巨杉软件开发有限公司SequoiaDB巨杉数据库巨杉数据库基础能力基础能力上海热璞网络科技有限公司上海热璞网络科技有限公司热璞分布式事务数据库软件热璞分布式事务数据库软件简称:简称:HotDB Server基础能力基础能力中兴通讯股份有限公司中兴通讯股份有限公司GoldenDB基础能力基础能力创意信息技术股份有限公司创意信息技术股份有限公司TroyDB Cluster基础能力基础能力
16、亚信科技(中国)有限公司亚信科技(中国)有限公司AntDB基础能力基础能力北京中电普华信息技术有限公司北京中电普华信息技术有限公司思极有容数据库思极有容数据库基础能力基础能力华为技术有限公司华为技术有限公司GaussDB 100基础能力基础能力腾讯云计算(北京)有限责任公司腾讯云计算(北京)有限责任公司TBase基础能力基础能力星环信息科技(上海)有限公司星环信息科技(上海)有限公司KunDB基础能力基础能力随着工业互联网的稳步推进,设备联网和传感器的增加对实时数据的收集提出了更高的要求,需求也由监控更多的转向了分析,互联网领域的时序数据库也开始进军工业互联网领域。实时数据库诞生于工业行业,实
17、时采集和存储设备的监控信息时序数据库诞生于互联网和物联网领域,实时网络监控和各类传感器的数据工业互联网激增的海量数据分析的需求和维度增加在工业互联网的需求下,是否可以形成统一的标准来评价这两个产品?18年启动时序数据库项目组年启动时序数据库项目组参与单位:时序数据库基础能力评测标准,已正式成为行业标准YD/T 1077-2016大数据 时序数据库技术要求与测试方法时序数据库基础能力评测包括六大项:数据获取方式、兼容能力、管理能力、高可用性、扩展性、安全性,总共33项(26必选+7可选)测试用例公司名称公司名称产品名称产品名称测试类型测试类型 腾讯云计算(北京)有限责任腾讯云计算(北京)有限责任
18、公司公司腾讯云数据库腾讯云数据库CTSDB系统系统基础能力基础能力/性能性能 南京天数智芯科技有限公司南京天数智芯科技有限公司 天数天数SkyTSDB时序数据库时序数据库基础能力基础能力 北京百度网讯科技有限公司北京百度网讯科技有限公司 时序数据库时序数据库基础能力基础能力/性能性能 朗坤智慧科技股份有限公司朗坤智慧科技股份有限公司 朗坤朗坤TrendDB时序数据库系统软件时序数据库系统软件基础能力基础能力 北京涛思数据科技有限公司北京涛思数据科技有限公司 TDengine时序空间大数据处理引擎时序空间大数据处理引擎基础能力基础能力/性能性能 阿里云计算有限公司阿里云计算有限公司 阿里云时序时
19、空数据库阿里云时序时空数据库TSDB基础能力基础能力 华为技术有限公司华为技术有限公司 表格存储服务表格存储服务基础能力基础能力南方电网数字电网研究院南方电网数字电网研究院鼎信时序数据库鼎信时序数据库基础能力基础能力上海麦杰科技股份有限公司上海麦杰科技股份有限公司openPlant实时数据库实时数据库性能性能Unit 03 分布式数据库测试观察大规模分析型数据库基础能力通过测评产品:大规模分析型数据库性能测评通过产品:GaussDB200512节点基于PG14%基于Greenplum43%自研43%分析型数据库发展加快,部分原因是Greenplum的开源让更多厂商能使用和研究分布式分析数据库,
20、据统计参与评测的14款MPP数据库中43%都是基于Greemplum,14%基于PostgreSQL。分布式分析数据库正在努力突破扩展性的限制,大规模部署能力有很大突破。华为完成了512节点基础能力的测试,阿里云完成了640节点性能的测试,华三完成了200节点性能的测试。Analytic DB 分布式数据库640节点 100TB数据量H3C DataEngine MPP分布式数据库200节点 100TB数据量国内分布式数据库产业迎来春天,据统计相关产品超过30款;技术水平不断提升,最新评测的产品完成度同比提升;架构选择方面,中间件架构相对成熟,82%的产品基于中间件架构,18%的产品基于新型一
21、致性协议;基于MySQL改造最多,基于PG的厂商正在快速兴起,部分选择自研引擎,部分厂商已经开始考虑MySQL开源风险;性能、高可用、灾备,业务迁移是下一步需要详细考核的方向。7家产品架构多样,各种功能的实现均有不同,并在可选项上体现出了一些领域特色。大类大类小类小类ABCDEFG功能功能数据类型数据精度时序数据写入时间序列可扩展数据普通查询标签条件查询插值条件查询值过滤查询(可选)最新周期数据查询数据聚合查询自定义函数(可选)地理位置查询(可选)数据生命周期管理兼容能力兼容能力X86等主流硬件兼容性容器部署兼容性(可选)大数据处理生态对接(可选)管理能力管理能力安装部署能力配置管理能力实时监
22、控用户管理在线升级(可选)元信息查看导入导出能力容错能力容错能力硬件故障操作系统故障数据库服务故障过载保护数据多副本能力扩展性扩展性集群在线扩容能力集群缩容能力(可选)安全性安全性身份认证操作审计加密通信架构多样化:关系型、NoSQL、搜索引擎、其他自研架构分布式:新产品均为分布式,老产品也新增了分布式版本数据结构:单值模型和多值模型生态对接:均能满足与大数据生态的对接SQL支持:不是必须项,但是越来越多产品额外增加了SQL来简化操作需求转变:功能转向分析;时间扩展为时空Unit 04 未来工作计划呵呵,生态又是什么?科技生态就是促进好产品、好技术繁衍生长的社会体系社会体系1 1、自建高性能测
23、试环境、自建高性能测试环境44台高性能服务器万兆网络专人运维2 2、自研测试工具、自研测试工具金融事务数据库性能测试工具时序数据库性能测试工具3 3、成立专题组织、成立专题组织数据库应用创新实验室政产学研用金融核心系统&数据库:1、验证神州数码与华为数据库适配完成2、验证神州数码与中兴数据库适配完成3、验证神州数码与达梦数据库适配完成4、部署完成长亮科技与科蓝软件核心系统(验证互操作范围涵盖客户信息、账户信息、金融交易、批处理四大类)国产硬件&数据库:1、已经部署完成中科曙光和华为服务器2、验证腾讯云与中科曙光适配完成3、已经完成专用场地建设(验证互操作范围涵盖功能类、兼容类、管理类、扩展类、安全类五大类)信通院提供统一站式资源池,为数据库企业提供兼容适配服务。