1、M Ma at tr ri ix xD DB BAll in One 的超融合时序数据库北 京 四 维 纵 横 数 据 技 术 有 限 公 司姚 延 栋Confidential 2021 四维纵横About Me姚延栋MatrixDB 创始人Greenplum 北京研发中心总经理（2010-2020）Greenplum 中文社区创始人PostgreSQL 中文社区常委清华大学产教融合课程分布式数据系统基础及应用产业方负责人Greenplum：从大数据战略到实现作者Confidential 2021 四维纵横l公司介绍l超融合时序数据库l核心架构l案例分享目录Confidential 2021

2、四维纵横公司介绍Confidential 2021 四维纵横5超融合时空数据库缔造者全新的角度看待数据从“画面”到“动画”是一种历史、一种记忆时序视角指标数据地理数据点云数据配置数据帧数据关系数据Confidential 2021 四维纵横时序是一种全新的视角，是历史和记忆时刻1 指标数据 位置数据 点云数据 图像数据 关系数据 KV/GIS JSON时刻2 指标数据 位置数据 点云数据 图像数据 关系数据 KV/GIS JSON时刻3 指标数据 位置数据 点云数据 图像数据 关系数据 KV/GIS JSON.指标数据 位置数据 点云数据 图像数据 关系数据 KV/GIS JSON时刻n 指标

3、数据 位置数据 点云数据 图像数据 关系数据 KV/GIS JSONConfidential 2021 四维纵横7产品优势All in One 时序数据 GIS数据 关系数据 KV数据 JSON数据 点云数据 可扩展稳定可靠 20年积累沉淀 全球上万生产集群 几十万静态测试用例 混沌工程动态测试大规模 100PB 级 300节点生产案例 大量PB级生产集群 线性扩展 最小单机部署高性能 大规模并行处理架构（MPP）10年打磨的优化器技术 为时序优化的执行器 为时序优化的存储企业级特性齐全 监控报警 在线扩容 备份恢复 安全控制 并行导入导出 在线迁移 升级降级生态完备 PG12/GP 兼容 无

4、缝对接Hadoop 生态 内建ML学习 支持Python、R等UDFConfidential 2021 四维纵横Greenplum 数据库全球排名第三Greenplum原厂团队姚延栋：Greenplum 原北京研发中心总经理高小明：Greenplum 原全球内核产品总监翁岩青：Greenplum 原云原生和分析架构师Greenplum内核团队主力在北京Greenplum 6.0 北京团队贡献70%+新特性Greenplum 6.0 HTAP 发表SIGMOD顶会论文，整个特性均由姚延栋/高小明领导的北京团队研发MatrixDB 团队背景Confidential 2021 四维纵横9400天完成

5、4轮融资，总融资额超1.5亿2020/08公司成立2020/09天使轮融资清华启迪中科创星晨山资本2021/01PreA融资顺义产业基金2021/07A轮融资东方富海2021/10A+轮融资云厂商Confidential 2021 四维纵横超 融 合 时 序 数 据 库Confidential 2021 四维纵横时空数据处处皆有l时序数据是时间序列数据，是带有时间戳的一系列结构化数据 汽车 每秒钟采集的位置、车速、转速、温度等数据 无人机 每秒采集的位置、高度、风力、风向等数据 数控机床 每百毫秒采集的轴坐标、移动量、速度等数据 智能冰箱 每小时采集的温度、湿度、耗电量 用户访问网站 点击事件

6、流等数据l空间数据是地理位置或者轨迹数据l关系数据：让时空数据具有意义Confidential 2021 四维纵横时序数据成为数据主体，如何应对新挑战？2 20 02 20 0年年物物联联网网设设备备超超过过非非物物联联网网设设备备车联网数据规模预估：l10万辆车，每辆车秒级采集1000指标l一秒1亿指标，800MB数据l一天24小时8.64万亿指标，69TB，一月2PB数据l一天3小时1.44万亿指标，8.6TB，一月259TBConfidential 2021 四维纵横时序数据库趋势（DB-Engines）2017 过去12个月趋势2021 过去24个月趋势Confidential 202

7、1 四维纵横时序数据基本概念时时间间风风向向风风速速设设备备编编号号城城市市2021/10/01 08:00:0023.43.4958D-7913上海2021/10/01 08:00:0045.11.1F3CC-20F3北京2021/10/01 08:01:0023.23.3958D-7913上海2021/10/01 08:01:0045.01.2F3CC-20F3北京2021/10/01 08:02:0023.33.3958D-7913上海2021/10/01 08:02:0045.21.2F3CC-20F3北京MeasurementFields（指标）Tags（标签）Time Series

8、 Data（时序数据）Timestamp（时间戳）Data Point（数据点）Confidential 2021 四维纵横时序数据库分类窄表：一行一个数据点宽表：一行所有数据点时时间间指指标标名名指指标标值值设设备备编编号号城城市市2021/10/01 08:00:00风向23.4958D-7913上海2021/10/01 08:00:00风速3.4958D-7913上海2021/10/01 08:00:00风向45.1F3CC-20F3北京2021/10/01 08:00:00风速1.1F3CC-20F3北京2021/10/01 08:01:00风向23.2958D-7913上海2021/

9、10/01 08:01:00风速3.3958D-7913上海2021/10/01 08:01:00风向45.0F3CC-20F3北京2021/10/01 08:01:00风速1.2F3CC-20F3北京时时间间风风向向风风速速设设备备编编号号城城市市2021/10/01 08:00:0023.43.4958D-7913上海2021/10/01 08:00:0045.11.1F3CC-20F3北京2021/10/01 08:01:0023.23.3958D-7913上海2021/10/01 08:01:0045.01.2F3CC-20F3北京设设备备I ID D时时间间风风向向风风速速12021

10、/10/01 08:00:0023.43.422021/10/01 08:00:0045.11.112021/10/01 08:01:0023.23.322021/10/01 08:01:0045.01.2设设备备I ID D设设备备编编号号城城市市1958D-7913上海2F3CC-20F3北京20020Confidential 2021 四维纵横真实的时序场景现状ES（二二级级索索引引）KafkaHBase（时时序序分分析析）Flink（实实时时分分析析）MySQL（关关系系数数据据）Hive（数数据据仓仓库库）Spark（高高级级分分析析）S3（存存档档）ETL分分

11、析析结结果果回回写写分分析析结结果果回回写写ETLRedis（最最新新值值）2020年+Confidential 2021 四维纵横超融合时序数据库，实现时序场景 All in One将将复复杂杂留留给给用用户户将将复复杂杂留留给给数数据据库库Confidential 2021 四维纵横超 融 合 架 构Confidential 2021 四维纵横行存储列存储混和存储内存存储LSM树关系数据时序数据空间数据JSON文本火山模型即时编译向量化流计算PL动态规划遗传算法Cascade统计信息事务并发控制锁管理快照认证角色审计加密监控备份恢复高可用SQLACIDHooksB+树索引Hash索引GIN

12、索引GiST索引位图块索引多列索引表达式索引部分索引SP-GiST文本检索时空应用关系应用机器学习应用流计算应用应用JDBC/ODBC/OLEDBMatrixDB超融合架构概览，基于开源PostgreSQLConfidential 2021 四维纵横MasterStandby MasterSegmentSegmentSegmentSegment文本检索时空应用关系应用机器学习应用流计算应用应用JDBC/ODBC/OLEDBMatrixDB线性扩展至数百节点集群Confidential 2021 四维纵横节点1节点2空间分片（Sharding）时间线时间分区（Partition）设备数据点35周

13、36周37周38周时空数据存储模型Confidential 2021 四维纵横设备id时间戳温度100012021/03/11 10:0137.1100012021/03/11 10:0236.5100022021/03/11 10:0136.8100022021/03/11 10:0236.9湿度80.160.750.356.6100012021/03/11 10:0337.2100012021/03/11 10:0436.4100022021/03/11 10:0336.9100022021/03/11 10:0436.880.060.450.256.8100012021/03/11 10

14、:0337.0100012021/03/11 10:0436.8100022021/03/11 10:0336.1100022021/03/11 10:0437.080.360.850.256.3两个设备，10:01-10:04分，温度、湿度时间序列Partition内分块，一个设备数据存储在一个块内分区内部按照设备分块，块内列式存储 压缩比高 分析查询友好 向量化友好Confidential 2021 四维纵横冷热分级存储设备指标数据表11月10月七年前六年前五年前热数据温数据冷数据l基于分区和表空间技术，为不同热度的数据选择合适的存储介质，最优化存储开销l为不同热度数据选择不同的存储引擎、

15、存储格式和压缩级别，支持RLE、Gorilla、Zstd、LZ4、delta等编码压缩算法l支持本地文件系统和远程文件系统包括S3、HDFS等，支持Parquet、Avro等格式Confidential 2021 四维纵横24存储引擎全貌Confidential 2021 四维纵横25执行引擎Confidential 2021 四维纵横分布式查询执行t2t1Confidential 2021 四维纵横分布式数据shufflingt2t1Confidential 2021 四维纵横CREATE CONTINOUS VIEW s1 as SELECT avg(1)FROM devices WHER

16、E(filter)GROUP BY tags_id，time_bucket(1 hour,time);持续聚集Confidential 2021 四维纵横安全认证 Password GSSAPI LDAP Certificate SSL访问控制 RBAC ACL 列级安全控制 行级安全控制数据加密 哈希函数 PGP加密 随机数 透明加密 存储透明 会话审计 对象审计 支持各种对象 支持各种操作安全审计360度安全防护Confidential 2021 四维纵横30秒级图形化安装Confidential 2021 四维纵横31一键Kafka消费数据KafkaMatrixGateMatrixDB数

17、据生产者数据生产者数据生产者Confidential 2021 四维纵横32无缝对接BI/可视化生态Confidential 2021 四维纵横监控一目了然图形化运维.监控报警无缝对接Grafana等常用监控平台Confidential 2021 四维纵横超融合时序数据库，实现时序场景 All in One将将复复杂杂留留给给用用户户将将复复杂杂留留给给数数据据库库Confidential 2021 四维纵横场景和案例Confidential 2021 四维纵横36某车企：数字孪生汽车平台新能源造车新势力快速发展，销量年增长率超过200%，过去基于 O Op pe en nT TS SD DB

18、 B+H Hi iv ve e 的技术架构无法支撑其快速增长的数据量和业务，创新迭代速度受限，成为发展瓶颈MatrixDB数据库智能座舱画像分析行为预警数据集市建设方案建设效果 存储 1PB+车辆原始数据 硬件成本节省 80%，50台10台 写入效率提升10倍 查询效率提升100倍，从分钟到毫秒级 开发运维效率提升 1 倍Confidential 2021 四维纵横37某物流企业：大型车队智能运营管理某大型车队拥有 20 万辆卡车，燃油、维修和人力成本居高不下，运营管理效率低，严重影响企业效益 车队效率提升25%成本降低10%车辆数据任务调度保养记录维修记录采购记录MatrixDB数据应用BI

19、/报表数据科学预测性维护零件寿命估算备件批量购买车辆报废预测建设方案建设效果Confidential 2021 四维纵横某装备制造企业：智能装备1、空间节省50%、时序性能提升5倍：MySQL+时序数据库+Hive+Spark MatrixDB+Python2、数字装备、臂架泄露、状态模拟、泵机异常检测、运行优化等Confidential 2021 四维纵横39某制造企业：降低次品率某国际知名制造业企业通过收集工厂的各种数据，分析影响成品率的主要因素，改进生产流程，降本增效，大幅提升利润率。数数据据科科学学家家应应用用用用户户外部存储历s史数据数数据据库库Confidential 2021 四维纵横40某制药企业：云边端协同的一站式工业大数据平台传统的工业大数据“复杂”、“低效”，投入巨大产出甚微，使得很多工业企业谈“大数据”而色变。基于MatrixDB的工业大数据平台解决大数据复杂度问题，把“极简”、“极速”留个客户 原架构包含MySQL、时序数据库、Hive、Spark等多个组件，新架构使用MatrixDB一个数据库搞定工业大数据，简洁高效 云边协同架构，避免不同架构的繁琐建设方案建设效果