1、TSDB-云边一体化时序时空数据库技术揭秘 自修 阿里云智能数据库产品事业部高级专家 Contents01目录认识TSDB 02技术揭秘 03开源生态 认识TSDB01平板文件的简单存储 数据模型比较单一 1st 时序时空数据处理工具 120162017 Docker/微服务 交通/轨迹 Future 云时序数据库 发展历史 2nd 面向时序时空领域的数据库 面向监控报警领域 Cloud Native/Serverless IoT/工业IoT 时序时空模型特征存储 数据模型，压缩，聚合分析方面做了大量创新 具备空间和时间的多维索引 高性能低成本免运维 生态丰富 云边一体化

2、架构 应用场景 时空大数据计算 智慧交通，城市大脑，轨迹分析，路径规划高性能计算工业数字化转型 轻量化高可用电力，交通，物流，IOT，工业基础设施智能化 APM，智能运维，监控诊断，金融低成本高性能可扩展数据模型 Time Series 序列值 Dynamic Fixed Single SnapshotUpdated Snapshot 瞬时值 T YX移动点 TYX轨迹序列 TXY事件 指标 T V TV YX地理参考变量 TVTVYX地理参考时序 Spatial Location 阿里云TSDB 极致性价比 指标/事件型数据存储系统 4000万写数据点/秒，600万读数据点/秒，15:1压缩

3、比（2018双十一）PB级存储，无缝扩缩容，时空检索比Geomesa快7倍 IoT场景深度定制，云边一体化 多值数据模型（插值、聚合、采样，降精度）存储计算分离，冷热分离，列存，无损压缩（25+算法）丰富API，满足LBS、轨迹、点云、电子围栏等各种场景 智慧交通、城市大脑、监控、电力、能源行业 广泛应用 高兼容性和高扩展性 兼容OpenTSDB协议，兼容Prometheus存储，支持SQL/MM，支持OGC标准 ANSI SQL兼容，动态Schema，内置时序时空高级分析函数 Time Series and Spatial-Temporal Database 技术揭秘02MQTTSQLGIS

4、OpenTSDBGeoMQTTMQMQTTSQLProtocolsSQL EngineTransportIndexStorageCompressionFSParserAnalyzerPlanCodegenAggregateJoinSpatialJoinDistributed ExecutorCoordinatorMergeCollectSQL BypassRead/WriteAccessDeleteQueryTimeseries FilterSpatial FilterBKD IndexInverted IndexTimeseries IndexS2/S3 IndexRowStoreBlob

5、StoreColumn StoreDelta-of-DeltaRoaring BitmapZigZagHiMOXORLocal File SystemShared File SystemHDFSOSSGeoMQTTSparkFlinkKafkaMQ技术架构 生态 分布式 PG Protocol RESTFul API SQL EngineDistributed Execution EngineCluster CoordinatorData ExchangeData ExchangeTransport R3P1 R2Local DiskPG Protocol RESTFul API SQL En

6、gineDistributed Execution EngineCluster CoordinatorTransport R1P2 R3Local DiskPG Protocol RESTFul API SQL EngineDistributed Execution EngineCluster CoordinatorTransport R1P3 R2Local DiskSLB计算层?存储层?SQL引擎 Table Schema?Hash/NLP/Merge/Spatial Join?Distributed Executor?Distributed Executor?Columnar in-me

7、mory?Runtime codeGen?Hash/StreamAgg?Hash/Merge/Broadcast Exchange?Extended UDF/UDAF?Statistics?Partition,Shards?Nodes?MetaStore?Http?PG Proxy?Transport?Parser?Parser?Semantic Analyzer?Semantic Analyzer?AST?Annotated AST?Logical Optimizer?Logical Optimizer?Filter/Agg pushdown,Partition Pruning,Join r

8、eorder?Physical Optimizer?Physical Optimizer?(Join/Agg,Parallelizer,Exchange)?Logical Plan?Fragmented Physical Plan?Transport?Memory Pool?Scheduler?Cluster State Service?每个节点地位等同每个节点地位等同?Planner?Planner?Runtime Filter Prune?弹性升扩弹性升扩?2019-9-12019-9-1?2019-9-22019-9-2?2019-9-32019-9-3?9-1?9-1?P0P0?9-1

9、?9-1?P P1?1?9-2?9-2?P0P0?9-2?9-2?P1?P1?9-12?9-12?P P2?2?9-3?9-3?P0P0?9-3?9-3?P P1?1?TSDB Storage cluster 时空计算 Partition Info?Global Index?On?Master Node?PartitionPartition?Packing?&?Indexing?ArrayRow?Local Index?Local IndexLocal Index?Global IndexGlobal Index?0?1?2?3?4?2?1?3?4?0?Row?0?1?2?3?4?预聚合引擎

10、Query Write Streaming Forward TSDB Store Original(s)Rollup(1m)Rollup(5m)3?1?2?4?6?6?10?16?3600?60?12?2019-9-12019-9-1?Time-index 2019-9-22019-9-2?2019-9-32019-9-3?9-1 P0 9-1 P1 9-2 P0 9-2 P1 9-12 P2 9-3 P0 9-3 P1 Node 1Node 1?Node 2Node 2?NodeNode 3 Node 4Node 4?TSDB Storage cluster 聚合函数库 Foreman Qu

11、ery Cache MPP Workers Per Interval Merge(2rd)2019-9-12019-9-1?2019-9-22019-9-2?Per Partition Merge(1rd)P0P0?P1P1?P3P3?Time-index 命中 查询Rollup Time-Index 未命中 查询Original 流算引擎适配 规则配置 数据投递 TSQL/API 多阶段聚合多阶段聚合?分布式模型分布式模型?(序列化等序列化等)?预聚合与归并预聚合与归并?(Map/Reduce)(Map/Reduce)?Group ByGroup By支持支持?近似类聚合近似类聚合?(H H

12、LL/Sketch)LL/Sketch)?数值类聚合数值类聚合?(min/max.)(min/max.)?前置前置/后置后置Filter?Filter?算子分析与优化算子分析与优化?聚合引擎 存储引擎 Row Store Field 1Field 1?Index Store Field 1Field 1?.?Field nField n?.?Field nField n?Field 2 Field 2Field 2?Row2 Row3 索 引 优 选 InvertInvert?BKDBKD?S3S3?TPITPI?RIDs:1 3 5RIDs:1 3 5?RIDs:1 6 9RIDs:1 6

13、9?RIDs:2 7 8RIDs:2 7 8?Posting list Column Store Character Map?Field Range?Join P2P?Column Meta?Succinct?GCD Compression?Roaring?Bitmap?.?startFp1?.?DocValue?DocValue?meta1?startFp2?footer?.dvm?.dvd?Sum(c)?a=8?b 2 months)(2 months)?Partition1Partition1?Pos:coldPos:cold?Partition2Partition2?Pos:hotPo

14、s:hot?Partition3Partition3?Pos:hotPos:hot?Stats T1:P1T1:P1?T Time rangeime range?T2:P2T2:P2?Time range?Time range?T3:P3T3:P3?Time range?Time range?w/r:0w/r:0?w/r:0w/r:0?w/r:9w/r:9?Policy rules 低频迁移(w/r 5/day)(w/r 5/day)?Migration Manager 根据策略和统计信息创建迁移任务?Migration Queue Task1Task1?Task2Task2?Hot:SSD云

15、盘 Hot:SATA云盘 Cold:OSS Partition Partition 2 2?Partition 3Partition 3?Partition kPartition k?D Data Bucketata Bucket?数据特征 冷热分层明显 最近数据访问频繁 分层原理 迁移单位是partition 所有访问经Meta进行路由 Stats统计各分区访问频度 策略触发迁移任务 迁移完成后更新Meta信息.?.?Partition 2Partition 2?D Data Bucketata Bucket?.?Partition 5Partition 5?Partition mParti

16、tion m?TaskTask迁移partion2partion2到OSSOSS?边缘计算 设备?设备?设备?云端?边缘?边缘边缘TSDBTSDB?本地数据看板?云端云端TSDBTSDB?云端?IoT Studio?云代理?消息路由?设备接入?多维数据分析?多维数据分析聚合展示?1）创建产品/设备 2）为设备打标签（位置、设备类型）3）配置部署?TSDB Cloud?Cloud Cloud SyncSync?HA Manager?VFS?（Local Storage/Remote Storage）?服务层?UserAccount?HTTPS?Rule Filter?Time Partition

17、ed Index?Time Partitioned Data?Time Structured Merge Tree?Time Partitioned Index?Time Partitioned Data?Time Structured Merge Tree?Active?standby?ResumeSync?Query Engine?wal/compaction/compression?l边云数据协同?l高速读写分析低成本存储?l轻量化部署?l基于内存的列式数据同步?l高效时序存储 TSMT；时间分区索引；自研压缩算法?部署运维?设备管理?IoT公有云平台?核心能力?实时同步规则下发生态建设

18、 TSDB时序时空生态 OpenTSDB PostgreSQL MQTT GeoMQTT 开源生态03让机器数据产生价值-InfluxdbCPU 内存 硬盘 网络 Telegraf InfluxDB Cluster Grafana 图形展示 系统数据采集 Kapacitor 阈值告警 SQL查询分析 钉钉 短信 电话 Redis MySQL MongoDB kubernetes 水平可扩展集群方案基于LSM的Meta Server 通过Raft高可用Meta Server Group 支持水平增加Data HA Group 全局内存管理全局内存池，索引，数据，查询内存动态调整 时间线，数据库无

19、限制 基于阿里云高效云盘保证数据不丢失?TICK生态兼容数据采集、存储、分析展示全集成 阿里云托管，无需运维 全自动监控、告警 设备 设备 设备 Prometheus公测 分布式存储满足大规模历史数据长期存储，数据备份 查询高吞吐，低延迟，按需弹性扩展 Cloud Native Influxdb无缝对接，配置简单 集群全局查询能力查询API兼容原生Prometheus协议，提供统一的全局查询 查询结合In-memory+远端分布式存储 全局数据视图：支持长期数据量化分析和复杂报警逻辑 WEB UI Dashboard Query Layer Rule Component Rule Component Influxdb ClusterPrometheusSideCarPrometheusSideCarPrometheusSideCarPrometheus Cluster TargetsTargetsTargetsES RabbitMQ Apache Node THANKS!