上海品茶

您的当前位置:上海品茶 > 报告分类 > PDF报告下载

7-3Impala在网易大数据中的使用和优化实践.pdf

编号:29770 PDF 33页 4.53MB 下载积分:VIP专享
下载报告请您先登录!

7-3Impala在网易大数据中的使用和优化实践.pdf

1、Impala在网易大数据中使用和优化实践 温正湖 Impala定位及其优势 01 02 03 Impala增强和优化 Impala使用案例分析 Impala定位及其优势 Impala在数据处理中的角色 传统数据库/实时 分析型数仓 离线数仓 数 据 量 查询/处理引擎 百万-百亿:Impala/Presto/GP/ 百万以下:MySQL/PG/MongoDB/ 百亿以上:Hive/Spark/ 数据规模与数据处理引擎 数仓建模方式 宽表 DruidClickHouse 星型雪花型 ImpalaGPPresto 自助分析、BI报表等 典型使用场景 将Impala作为通用查询引擎 Impala在数

2、据处理中的角色 Impala优势 去中心化的MPP并行架构 Impala架构 vs 传统架构 多查询入口,防止对外服务单点故障 MPP并行计算并行Join并行Aggregation并行TopN Impala优势 MPP架构,去中心化 优秀的查询性能 CBO:支持基于代价执行优化; Catalog缓存:缓存库和表信息,HDFS数据块,统计信息等 Impala优势 MPP架构,去中心化 优秀的查询性能 Impala vs presto Impala vs sparksql 仅供参考! Impala优势 MPP架构,去中心化 优秀的查询性能 友好的WebUI界面 节点内存消耗查看 每个队列的内存消耗

3、 每个查询在该节点内存消耗 该节点上查询分析 查询分析 SQL诊断 异常查询终止 Metrics信息查看 完全兼容Hive元数据 Apache顶级项目,社区活跃度高 支持多种数据格式(parquet/orc等) 与Kudu结合使用,实时数仓 Impala增强和优化 Impala管理服务器 元数据同步增强 基于zk的服务高可用 支持更多存储后端 其他增强和优化 Impala增强和优化 Impala管理服务器 社区版现状和不足 虽通过webui提供了丰富直观的各种信息 但非持久化,进程宕机或重启后,消息丢失 管理服务器实现 使用MySQL保存集群信息 持久化集群配置和统计信息 持久化SQL详细信息,包括执行计划等 mysql 增强版的Impala webui 汇总各coordinator执行的SQL 直观展示集群当前正在运行SQL 管理服务器作用 集群持续优化平台 展示集群SQL性能指标 管理

友情提示

1、下载报告失败解决办法
2、PDF文件下载后,可能会被浏览器默认打开,此种情况可以点击浏览器菜单,保存网页到桌面,就可以正常下载了。
3、本站不支持迅雷下载,请使用电脑自带的IE浏览器,或者360浏览器、谷歌浏览器下载即可。
4、本站报告下载后的文档和图纸-无水印,预览文档经过压缩,下载后原文更清晰。

本文(7-3Impala在网易大数据中的使用和优化实践.pdf)为本站 (X-iao) 主动上传,三个皮匠报告文库仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对上载内容本身不做任何修改或编辑。 若此文所含内容侵犯了您的版权或隐私,请立即通知三个皮匠报告文库(点击联系客服),我们立即给予删除!

温馨提示:如果因为网速或其他原因下载失败请重新下载,重复下载不扣分。
会员购买
客服

专属顾问

商务合作

机构入驻、侵权投诉、商务合作

服务号

三个皮匠报告官方公众号

回到顶部