《2020年终大会-大数据架构:5-5.pdf》由会员分享,可在线阅读,更多相关《2020年终大会-大数据架构:5-5.pdf(22页珍藏版)》请在三个皮匠报告上搜索。
1、基于Logi-KafkaManager打造 专业易用Kafka PAAS服务 张亮 Logi-KafkaManager 产品简介 Logi-KafkaManager 亮点功能 Kafka Manager业界开源对比 Logi-KafkaManager 发展规划 分享大纲 Logi-KafkaManager 产品简介 项目介绍 Logi-KafkaManager脱胎于滴滴内部4年多的Kafka服务运营经验,服务了公司内近千Kafka用户,托 管了数十Kafka集群,数万Kafka Topic,单集群300+Broker,面向Kafka用户、Kafka运维人员,打 造一套共享多租户kafka云平台
2、,内部满意度达到90分! https:/ 分层架构,依赖精简 分布式部署,能力API化 0.10.2+开源引擎100%兼容 服务架构 Kafka用户体验地图 平台账户申请 集群资源申请 Topic资源创建 Topic权限管理 Topic指标监控 Topic配额申请 Topic数据采样 Topic监控告警 Kafka运维体验地图 Kafka集群安装 Kafka集群监控 Kafka集群升级 逻辑集群管理 Kafka版本管理 Topic任务迁移 Kafka平台管理 Kafka服务运营地图 Topic资源治理 Topic账单体系 Topic分区热点 Topic资源不足 Topic资源审批 Logi-K
3、afkaManager 亮点功能 亮点:多租户隔离模型 Appid+Passwd定义租户 Region定义资源分配单元 逻辑集群按保障等级映射 亮点:元数据网关层设计 基于APPID+Topic 提供生 产、消费限流能力 Kafka-GateWay元数据网关 提供服务发现能力 基于APPID+Topic 提供读、 写权限控制能力 亮点:业务过程数据化 增加基于Topic生产消费各环 节耗时统计,支持动态开启, 用户自助排查问题 关键指标业务运行过程,不同 分位数性能指标的监控,方便 历史问题回溯诊断 亮点:服务端强管控 服务端记录客户端连版本与 类型,连接强感知,集群强 管控 Controller强管控,指定的主 机列表,记录Controller历史 运行节点 记录Topic的压缩格式,应用 与业务元信息,业务强感知 亮点:高频运维操作平台化 指定Broker进行Rebalance 制定T