上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

【格睿时代冯家纯】云原生时序时序数据库的挑战的架构设计.pdf

编号：157172 PDF 39页 7.19MB 下载积分：VIP专享
下载报告请您先登录！

【格睿时代冯家纯】云原生时序时序数据库的挑战的架构设计.pdf

1、云原生时序数据库的挑战和架构设计Greptime/冯家纯关于我 Greptime 技术联创 负责时序数据库产品研发 分布式共识算法库 SOFAJRaft 开源负责人PART 1什么是时序数据什么是时序数据PART 3面向弹性设计的 ServerlessDB 架构PART 2时序数据特有的挑战PART 4交流&QA什么是时序数据？什么是时序数据？记录事物随着时间推移的变化可视化展示、数据分析时序数据模型时序数据模型metriccitydistricttimestampvaluetemperature_minBeijingHaidian8temperature_minBeij

2、ingHaidian8temperature_maxBeijingHaidian1temperature_maxBeijingHaidian2metriccitydistricttimestamptemperature_mintemperature_maxtemperatureBeijingHaidian831temperatureBeijingHaidian832多值模型：面向数据源建模单值模型：面向业务指标数据建模行业时序数据库现状行业时序数据库现状时序数据应用场景时序数据应用场景

3、 Internet of things智能家居、可穿戴设备、工业传感器 金融数据股票价格、交易量、市场指数分析和预测 系统监控/可观测CPU、Mem、IO 新能源汽车CAN 信号、电池为什么需要时序数据库？为什么需要时序数据库？数据规模大传统 DB 难满足时序数据库诞生 检测点多，信息量大 数据高频产生，高吞吐摄入 存储成本敏感 存储成本高 维护成本高 写入吞吐低 时序分析能力差 低成本存储 高并发写入 低延时多维时序查询PART 1什么是时序数据PART 3面向弹性设计的 ServerlessDB 架构PART 2时序数据特有的挑战时序数据特有的挑战PART 4交流&QA 高基数(High-

4、Cardinality)(High-Cardinality)问题高基数是如何产生的高基数是如何产生的Time-series 数量高基数是如何产生的高基数是如何产生的Tag 拥有无限多的值高基数是如何产生的高基数是如何产生的高基数带来的问题高基数带来的问题写入问题索引膨胀查询问题一次查询涉及到多少个 TSIDwhere status=“200”and method=“get”高基数的解法高基数的解法 垂直：Time Interval Chunk Index 水平：Sharding Key 分区扫描+剪枝 Async Smart Index 时序数据压缩时序数据压缩时序数据压缩-Gorilla -

5、Gorilla 压缩压缩1）按照时间戳组织数据2）Delta-of-Delta 对时间戳编码3）对浮点数的二进制表示进行异或运算压缩比：3x 8x,16 字节=2-5 字节Timestamp:Delta-of-DeltaTimestamp:Delta-of-DeltaTimestamp:Delta-of-DeltaTimestamp:Delta-of-Deltafloat64:XORfloat64:XOR1 bit 符号位11 bit 指数位52 bit 小数位float64:XORfloat64:XORGorilla Gorilla 已经够好了吗？已经够好了吗？Gorilla Gorilla

6、 已经够好了吗？已经够好了吗？1）浮点数 =整数（*10N）2）低熵数据=ZSTD 再压缩3）冷热分离=不同压缩级别PART 1什么是时序数据PART 3面向弹性设计的面向弹性设计的 ServerlessDB ServerlessDB 架构架构PART 2时序数据特有的挑战PART 4交流&QA 存算分离、算算分离 GreptimeDB 简介 Workload 抽象 基于 Workload 的流控 自动驾驶传统架构传统架构-存算一体存算一体 Shared Nothing 存储和算力强绑定 粗粒度资源分配传统架构传统架构-存算一体存算一体 Shared Nothing 存储和算力强绑定 粗粒度资

7、源分配 数据迁移传统架构传统架构-存算一体存算一体 磁盘利用率 按资源付费ServerlessDB ServerlessDB 架构架构-存算存算&算算分离算算分离 弹性 算力隔离 按量付费ServerlessDB ServerlessDB 架构架构-存算存算&算算分离算算分离 Frontend DatanodeServerlessDB ServerlessDB 架构架构-如何适配对象存储如何适配对象存储ServerlessDB ServerlessDB 架构架构-如何适配对象存储如何适配对象存储ServerlessDB ServerlessDB 架构架构-GreptimeDB -Greptim

8、eDB 简介简介 Meta server Frontend DatanodeServerlessDB ServerlessDB 架构架构-Workload -Workload 抽象抽象资源池化、共享多租户隔离a.如何计价？b.你的系统支持多大的 QPS/TPS?c.怎么做流控？d.Serverless 化、弹性伸缩、负载平衡调度的依据是什么？ServerlessDB ServerlessDB 架构架构-基于基于 Workload Workload 流控流控设计目标:QuotaCenter 宕机不影响用户请求Quota Check 不阻塞用户请求防止 Quota 被化整为零ServerlessDB ServerlessDB 架构架构-Autoadmin-AutoadminHeartbeats 是唯一通信方式:Keep-Alive Keep-Lease Reporting Statistics Dispatching Instruction Broadcast Mailbox总结总结 介绍了什么是时序数据 时序数据场景特有的挑战a)高基数（High-Cardinality）b)时序压缩 面向弹性的 ServerlessDB 架构的一些思考a)存算分离、算算分离架构b)Workload 抽象c)Serverless 化自动驾驶谢 谢 观 看thanks

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（【格睿时代冯家纯】云原生时序时序数据库的挑战的架构设计.pdf）为本站 （stock） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

137**18... 升级为至尊VIP  wei**n_... 升级为至尊VIP

wei**n_... 升级为标准VIP   139**24... 升级为标准VIP

158**25...   升级为标准VIP  wei**n_... 升级为高级VIP

188**60...  升级为高级VIP Fly**g ... 升级为至尊VIP

 wei**n_... 升级为标准VIP 186**52...  升级为至尊VIP

布** 升级为至尊VIP  186**69...  升级为高级VIP 

wei**n_...  升级为标准VIP  139**98...   升级为至尊VIP

152**90... 升级为标准VIP  138**98... 升级为标准VIP  

181**96...  升级为标准VIP  185**10... 升级为标准VIP 

 wei**n_... 升级为至尊VIP  高兴 升级为至尊VIP 

 wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP 

阿**... 升级为标准VIP  wei**n_...  升级为高级VIP

 lin**fe... 升级为高级VIP wei**n_... 升级为标准VIP 

wei**n_... 升级为高级VIP  wei**n_... 升级为标准VIP 

wei**n_... 升级为高级VIP  wei**n_... 升级为高级VIP  

wei**n_...  升级为至尊VIP   wei**n_... 升级为高级VIP

wei**n_...  升级为高级VIP 180**21...  升级为标准VIP 

183**36... 升级为标准VIP wei**n_...   升级为标准VIP

wei**n_...  升级为标准VIP  xie**.g... 升级为至尊VIP

王** 升级为标准VIP 172**75...  升级为标准VIP

  wei**n_... 升级为标准VIP wei**n_... 升级为标准VIP

wei**n_... 升级为高级VIP   135**82... 升级为至尊VIP

 130**18... 升级为至尊VIP   wei**n_...  升级为标准VIP

 wei**n_... 升级为至尊VIP wei**n_...  升级为高级VIP

130**88... 升级为标准VIP 张川 升级为标准VIP 

 wei**n_... 升级为高级VIP 叶**  升级为标准VIP

 wei**n_...  升级为高级VIP  138**78... 升级为标准VIP 

 wu**i 升级为高级VIP wei**n_...  升级为高级VIP

wei**n_... 升级为标准VIP  wei**n_...  升级为高级VIP

185**35...  升级为至尊VIP wei**n_...  升级为标准VIP

  186**30... 升级为至尊VIP  156**61... 升级为高级VIP

130**32...  升级为高级VIP 136**02...  升级为标准VIP

wei**n_... 升级为标准VIP  133**46... 升级为至尊VIP 

 wei**n_... 升级为高级VIP  180**01... 升级为高级VIP  

130**31... 升级为至尊VIP    wei**n_... 升级为至尊VIP

微**...  升级为至尊VIP wei**n_...  升级为高级VIP

wei**n_... 升级为标准VIP  刘磊   升级为至尊VIP

 wei**n_... 升级为高级VIP  班长  升级为至尊VIP

wei**n_... 升级为标准VIP   176**40...  升级为高级VIP

136**01...  升级为高级VIP 159**10... 升级为高级VIP 

君君**i...  升级为至尊VIP wei**n_...  升级为高级VIP 

 wei**n_... 升级为标准VIP   158**78... 升级为至尊VIP

微**... 升级为至尊VIP 185**94... 升级为至尊VIP

wei**n_... 升级为高级VIP   139**90... 升级为标准VIP 

131**37... 升级为标准VIP  钟** 升级为至尊VIP

 wei**n_... 升级为至尊VIP  139**46... 升级为标准VIP

wei**n_... 升级为标准VIP wei**n_...   升级为高级VIP

150**80...  升级为标准VIP wei**n_... 升级为标准VIP 

 GT  升级为至尊VIP 186**25...  升级为标准VIP

 wei**n_... 升级为至尊VIP  150**68... 升级为至尊VIP