上海品茶

三个皮匠报告
上海品茶
合集
英文
会议
图表
入驻
付费
new
报告
报告 合集 图表

7-2优酷大数据 OLAP 技术选型.pdf

编号：29706 PDF 18页 10.14MB 下载积分：VIP专享
下载报告请您先登录！

7-2优酷大数据 OLAP 技术选型.pdf

1、优酷大数据 OLAP 技术选型 五羖 阿里文娱技术专家 0 大数据给传统数据技术带来的挑战 市面上各类大数据 OLAP 技术方案一览 优酷不同业务场景的 OLAP 选型 分享大纲 1 数据无处不在 市场分析 广告投放 性能诊断 数据运营 客户关系 2 大数据带来的挑战 传统数据技术无法支持大数据分析的需求 - ontime 数据集，亿级数据量 SELECT dayofweek, COUNT(*) FROMontime_part GROUP BY dayofweek; https:/ 19 min 15.21 sec 3 应对挑战 加并发预计算 master query Monday: 1,21

2、8,347 Tuesday: 1,524,121 query 4 加并发：MPP 架构 PostgreSQL PostgreSQL PostgreSQL PostgreSQL 5 MPP 架构的缺陷 所有节点参与运算 水平扩展到一定程度硬件故障必然发生 导致短板效应 容量有明显的天花板 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 短板 6 加并发：批处理架构 节点和任务解耦，给问题节点分配的任务更少 代价是需要通过磁盘共享资源，不管是读还是写，都很慢 7 批处理 & MPP 的互补 慢，但健壮而且水平扩展性非常好 用于离线数据清洗 批处理MPP 快，但容量有限

3、适合对清洗过的数据做交互式查询 8 MPP on Hadoop Impala 9 预计算 预先定义数据模型 影响灵活性 构建为 KV 数据存入 HBase 亚秒级查询 RT 10 预计算 自建存储 专门针对 OLAP 优化 写入时 roll-up 11 OLAP 方案综述 12 批处理MPP预计算 优酷 OLAP 选型实战 13 API 与实时监控：自建预计算 毫秒级 RT 分钟级实时性 数千 QPS 早期 Kylin 对实时 OLAP 支持较差，故 选择自建 14 Cube 管理 查询引擎 衍生计算 服务网关 维度字典 BI 报表：批处理+MPP RT 分钟级即可，QPS 一般很低，T+1 数据，要求支持复杂的分析 批处理负责数据清洗、初步的聚合，MPP 支持复杂的分析 15 实时 ad-hoc：类似 ELK 16 故障定位场景 RT 秒级，QPS 一般很低，要求实时数据、支持较复杂的分

友情提示

1、下载报告失败解决办法
2、PDF文件下载后，可能会被浏览器默认打开，此种情况可以点击浏览器菜单，保存网页到桌面，就可以正常下载了。
3、本站不支持迅雷下载，请使用电脑自带的IE浏览器，或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩，下载后原文更清晰。

本文（7-2优酷大数据 OLAP 技术选型.pdf）为本站 （X-iao） 主动上传，三个皮匠报告文库仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私，请立即通知三个皮匠报告文库（点击联系客服），我们立即给予删除！

温馨提示：如果因为网速或其他原因下载失败请重新下载，重复下载不扣分。
客服
商务合作
小程序
服务号
会员动态
会员动态 会员动态：

133**57... 升级为标准VIP   wei**n_... 升级为标准VIP 

 186**38...  升级为标准VIP  130**99... 升级为高级VIP

wei**n_...  升级为至尊VIP  wei**n_... 升级为至尊VIP

 wei**n_...  升级为标准VIP qiu**ng... 升级为至尊VIP

wei**n_...  升级为至尊VIP   范** 升级为高级VIP 

shm**yj...  升级为标准VIP  wei**n_... 升级为至尊VIP

微**... 升级为标准VIP  Fel** L...  升级为至尊VIP

wei**n_... 升级为高级VIP  186**58... 升级为至尊VIP

  138**10... 升级为至尊VIP 微**...  升级为标准VIP

wei**n_...  升级为至尊VIP  wei**n_...  升级为标准VIP

 wei**n_... 升级为标准VIP   一**... 升级为标准VIP

wei**n_...   升级为高级VIP wei**n_... 升级为至尊VIP  

 wei**n_... 升级为标准VIP 156**21...  升级为高级VIP 

158**76... 升级为标准VIP  180**88... 升级为至尊VIP 

wei**n_...  升级为高级VIP  wei**n_... 升级为高级VIP 

135**84... 升级为至尊VIP  德**...  升级为至尊VIP

 24**月...  升级为标准VIP  137**77... 升级为高级VIP

 wei**n_... 升级为高级VIP  wei**n_...  升级为至尊VIP 

189**26...  升级为至尊VIP 155**88...  升级为至尊VIP

178**16...  升级为高级VIP wei**n_... 升级为标准VIP

  186**59... 升级为至尊VIP wei**n_...  升级为高级VIP 

152**55... 升级为标准VIP  185**82... 升级为高级VIP 

186**86... 升级为至尊VIP  186**86... 升级为高级VIP 

183**82...  升级为高级VIP   钚**...  升级为至尊VIP

wei**n_...  升级为至尊VIP  137**98... 升级为标准VIP

ym8**80... 升级为高级VIP   159**48...  升级为高级VIP

wei**n_... 升级为至尊VIP   135**47... 升级为高级VIP

谷珺 升级为至尊VIP  wei**n_...  升级为至尊VIP

156**36... 升级为至尊VIP   wei**n_...  升级为至尊VIP

wei**n_... 升级为高级VIP    wei**n_...  升级为至尊VIP

微**... 升级为标准VIP 共**...  升级为至尊VIP

138**35...  升级为至尊VIP   学**... 升级为标准VIP

 wei**n_... 升级为标准VIP  wei**n_...  升级为标准VIP

  186**78... 升级为至尊VIP 159**03... 升级为标准VIP 

 wei**n_... 升级为标准VIP  138**38...  升级为高级VIP

wei**n_...  升级为标准VIP  185**52...  升级为至尊VIP 

138**43... 升级为标准VIP  wei**n_...  升级为至尊VIP

 wei**n_... 升级为高级VIP wei**n_...  升级为至尊VIP

wei**n_...  升级为高级VIP 禾**...  升级为至尊VIP

  微**... 升级为至尊VIP 191**94...  升级为至尊VIP

 施** 升级为高级VIP wei**n_...  升级为至尊VIP

  189**48... 升级为高级VIP  微**... 升级为至尊VIP

wei**n_...  升级为高级VIP    wei**n_... 升级为至尊VIP

wei**n_...  升级为高级VIP   wei**n_...  升级为至尊VIP

 微**... 升级为标准VIP  wei**n_...  升级为至尊VIP

135**02...  升级为高级VIP wei**n_...  升级为至尊VIP 

魏康**e...  升级为至尊VIP  魏康**e... 升级为高级VIP 

 wei**n_... 升级为至尊VIP  182**45...  升级为标准VIP

 wei**n_... 升级为至尊VIP zho**ia...  升级为高级VIP

  137**69... 升级为高级VIP  137**75... 升级为高级VIP