1、2019中 国 数 据 智 能 管 理 峰 会kafka在360商业化的实践2019中 国 数 据 智 能 管 理 峰 会个人简介近10年基础架构与大数据开发经验，2013年加入360商业化团队，负责消息队列系统，消息落地系统，实时计算平台等基础架构开发与运维。同时涉及微服务架构，监控系统等基础设施，致力于为商业化团队提供稳定高效的基础服务。2019中 国 数 据 智 能 管 理 峰 会AgendaWhy kafka360商业化kafka现状kafka client框架数据高可用负载均衡Authorization and ACLsQuota机制跨IDC数据同步监控告警Tools线上问题与解决2

2、019中 国 数 据 智 能 管 理 峰 会Why kafka数据可靠性 延迟单机吞吐社区客户端ActiveMQ中/万级不太活跃支持全面RabbitMQ高微妙级万级活跃支持全面KAFKA高毫秒级十万级活跃支持全面RocketMQ高毫秒级十万级有待加强有待加强2019中 国 数 据 智 能 管 理 峰 会Why kafkahigh performancesendfile+pagecacheapend filehigh availablereplica+isrfault tolerancecontroller:集群级别管理coordinator:业务级别管理CAP trade-off高一致性或高可

3、用可配置consumer groups可独立重复消费，可回放2019中 国 数 据 智 能 管 理 峰 会Why kafka2019中 国 数 据 智 能 管 理 峰 会360商业化kafka现状千亿级日志量，PB级数据量集群规模:100+万兆网卡机器topic最大峰值60w qps集群峰值500w qps2019中 国 数 据 智 能 管 理 峰 会360商业化kafka现状物理机配置cpu:24network:10Gb/smem:128GBdisk:HDD 4TB*12 JBOD/RAID10 (JBOD recommend)kafka版本1.1.1(0.11+recommend)2019

4、中 国 数 据 智 能 管 理 峰 会360商业化kafka现状2019中 国 数 据 智 能 管 理 峰 会kafka client框架设计原则极端情况下可用，网络或集群异常框架处理所有细节，业务接口简单，减少业务犯错可能LogProducer Frameworkat least once语义LogConsumer Frameworkat least once语义exactly once语义:业务需实现rollback逻辑2019中 国 数 据 智 能 管 理 峰 会kafka client框架2019中 国 数 据 智 能 管 理 峰 会kafka client框架2019中 国 数 据

5、智 能 管 理 峰 会数据高可用replica+isr是不够的，replica rack aware2019中 国 数 据 智 能 管 理 峰 会负载均衡经典一致性hash不能解决负载均衡问题2019中 国 数 据 智 能 管 理 峰 会负载均衡2019中 国 数 据 智 能 管 理 峰 会基于虚拟节点的一致性hash添加移除节点仅需迁移很小部分数据通过权重设置支持不同性能机器加入集群(虚拟节点数量作为权重)replica rack aware基于disk rebalance与leader负载kafka支持版本1.1.0+负载均衡2019中 国 数 据 智 能 管 理 峰 会Authoriza

6、tion and ACLs白名单机制工单流程管理合法topics,consumers,定期监测非法topics,consumer group并做deny处理基于用户鉴权，授权机制基于SSL/SASL 鉴权需要客户端设置支持会有一定的性能损耗2019中 国 数 据 智 能 管 理 峰 会两种Quota类型：限制网络带宽限制请求速率三个业务优先级：高，中，低，确保高优先级业务稳定性可批量对某优先级业务做升降级操作Quota机制2019中 国 数 据 智 能 管 理 峰 会跨IDC数据同步基于mirrormakerIDC间数据只同步一份所有业务只做本IDC读写基于mesos+marathon paa

7、s化，提高服务SLA2019中 国 数 据 智 能 管 理 峰 会跨IDC数据同步2019中 国 数 据 智 能 管 理 峰 会跨IDC数据同步2019中 国 数 据 智 能 管 理 峰 会监控告警jmx exporter+prometheus+grafanakafka managerburrowwonder2019中 国 数 据 智 能 管 理 峰 会监控告警2019中 国 数 据 智 能 管 理 峰 会Toolsdeploy tool:ansible-playbookmigration toolrebalance tooloffset reset tool2019中 国 数 据 智 能 管 理 峰 会Q&A