上海品茶

三个皮匠报告
上海品茶
最新
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

2. Clickhouse玩转每天千亿数据-趣头条.pdf

编号：29687 PDF 14页 1.10MB 下载积分：VIP专享
下载报告请您先登录！

2. Clickhouse玩转每天千亿数据-趣头条.pdf

1、ClickhouseClickhouse玩转每天千亿数据玩转每天千亿数据 趣头条趣头条 王海胜王海胜 提纲 业务背景 集群现状 我们遇到的问题 业务背景 基于storm的实时指标的计算存在的问题 1：指标口径(SQL) - 实时任务 2：数据的回溯 3：稳定性 业务背景 什么是我们需要的? 1：实时指标SQL化 2：数据方便回溯，数据有问题，方便恢复 3：运维需要简单 4：计算要快，在一个周期内，要完成所有的指标的计算 集群现状 100+台台32核核128G 部分复杂累时查询30S内完成 集群现状 我们遇到的问题 关于机器的配置关于机器的配置 早期集群机器配置16核64G 一块1.7T本地SS

2、D 问题： 1：内存限制，对于一些大的查询会出现内存不够问题 2：存储限制，随着表越来多，磁盘报警不断 3：cpu限制 64G对于一些大表(每天600亿+)的处理，很容易报错，虽然有基于磁盘解决方案，但是会影响速度 clickhouse的数据目录还不支持多个数据盘，单块盘的大小限制太大 cpu需要根据实际情况而定 解决： 1：机器的内存推荐128G+ 2：采用软连接的方式，把不同的表分布到不同的盘上面，这样一台机器可以挂载更多的盘 最新版本的”冷热数据分离”特性，曲线救国? 我们遇到的问题 order by (timestamp, eventType) or order by (eventTy

3、pe, timestamp) 业务场景 1：趣头条和米读的上报数据是按照”事件类型”(eventType)进行区分 2：指标系统分”分时”和”累时”指标 3：指标的一般都是会按照eventType进行区分 select count(1) from table where dt= and timestamp= and timestamp= and eventType= 建表的时候缺乏深度思考，由于分时指标的特性，我们的表是order by (timestamp, eventType)进行索引 的，这样在计算累时指标的时候出现非常耗时(600亿+数据量) 分析： 对于累时数据，时间索引基本就失效了，由于timestamp”基数”比较高，对于排在第二位eventType索引， 这个时候对数据的过滤就非常有限了，这个时候几乎就要对当天的数据进行全部扫描 解决： 1：调整索引的顺序，推荐索引列的基数

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（2. Clickhouse玩转每天千亿数据-趣头条.pdf）为本站 （X-iao） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

wei**n_...  升级为标准VIP  wei**n_...  升级为标准VIP

wei**n_... 升级为至尊VIP  137**64...  升级为至尊VIP

139**41... 升级为高级VIP  Si**id 升级为至尊VIP

 180**14... 升级为标准VIP   138**48... 升级为高级VIP

180**08... 升级为高级VIP   wei**n_... 升级为标准VIP 

wei**n_... 升级为高级VIP   136**67... 升级为标准VIP 

 136**08... 升级为标准VIP 177**34...  升级为标准VIP

186**59... 升级为标准VIP  139**48...  升级为至尊VIP 

wei**n_...  升级为标准VIP 188**95...  升级为至尊VIP

 wei**n_... 升级为至尊VIP  wei**n_... 升级为高级VIP 

wei**n_... 升级为至尊VIP 微**...  升级为至尊VIP

 139**01... 升级为高级VIP 136**15...   升级为至尊VIP

jia**ia...   升级为至尊VIP wei**n_...  升级为至尊VIP

183**14...  升级为标准VIP  wei**n_... 升级为至尊VIP 

微**... 升级为高级VIP  wei**n_... 升级为至尊VIP 

Be**en 升级为至尊VIP 微**... 升级为高级VIP

186**86... 升级为高级VIP  Ji**n方...  升级为至尊VIP 

188**48... 升级为标准VIP wei**n_...  升级为高级VIP

 iam**in... 升级为至尊VIP wei**n_...  升级为标准VIP

 135**70... 升级为至尊VIP  199**28... 升级为高级VIP 

wei**n_...  升级为至尊VIP  wei**n_... 升级为标准VIP 

 wei**n_... 升级为至尊VIP 火星**r...  升级为至尊VIP

139**13... 升级为至尊VIP   186**69...  升级为高级VIP

157**87... 升级为至尊VIP  鸿**... 升级为至尊VIP 

wei**n_...  升级为标准VIP  137**18... 升级为至尊VIP 

wei**n_...  升级为至尊VIP  wei**n_... 升级为标准VIP

139**24... 升级为标准VIP  158**25...  升级为标准VIP

 wei**n_...  升级为高级VIP  188**60...  升级为高级VIP

Fly**g ...  升级为至尊VIP wei**n_... 升级为标准VIP 

186**52...  升级为至尊VIP  布**  升级为至尊VIP

 186**69... 升级为高级VIP  wei**n_... 升级为标准VIP

139**98...  升级为至尊VIP  152**90...  升级为标准VIP

138**98...  升级为标准VIP  181**96... 升级为标准VIP

185**10...   升级为标准VIP wei**n_...  升级为至尊VIP 

 高兴  升级为至尊VIP wei**n_... 升级为高级VIP

wei**n_... 升级为高级VIP  阿**... 升级为标准VIP 

wei**n_... 升级为高级VIP lin**fe...  升级为高级VIP

wei**n_...  升级为标准VIP  wei**n_... 升级为高级VIP 

 wei**n_... 升级为标准VIP  wei**n_... 升级为高级VIP

 wei**n_... 升级为高级VIP wei**n_...  升级为至尊VIP

 wei**n_... 升级为高级VIP    wei**n_... 升级为高级VIP

 180**21... 升级为标准VIP 183**36...  升级为标准VIP

 wei**n_... 升级为标准VIP wei**n_... 升级为标准VIP

xie**.g...  升级为至尊VIP  王**  升级为标准VIP

172**75...  升级为标准VIP  wei**n_... 升级为标准VIP 

 wei**n_... 升级为标准VIP  wei**n_... 升级为高级VIP 

 135**82...  升级为至尊VIP 130**18... 升级为至尊VIP

wei**n_... 升级为标准VIP   wei**n_...  升级为至尊VIP

wei**n_...  升级为高级VIP   130**88... 升级为标准VIP

 张川  升级为标准VIP wei**n_...  升级为高级VIP