《2018年京东融合消息计算平台的技术变革.pdf》由会员分享,可在线阅读,更多相关《2018年京东融合消息计算平台的技术变革.pdf(26页珍藏版)》请在三个皮匠报告上搜索。
1、京东融合消息计算平台的技术变革2018年12月目录123融合架构Motivations、存储模型、主动弹性、去中心化、CAP的舍与得融合协议多协议架构、MQTT、OpenMessaging融合计算MQ+StreamingTopic与Queue互动问题:这两种模式的区别?现代MQFusion JMQ 简介JMQ是京东自研的消息中间产品,服务于为京东商城、物流和金融近万个应用。Motivations云原生Cloud Native新一代硬件For NG Infrastructure用户体验User Experience存储模型-Kafka存储模型-JMQ2存储模型-Fusion-JMQ主动弹性-问题
2、与应对1.消息雪崩问题2.消息积压问题3.挖坟问题互动问题:如何应对?主动弹性-能力级别级别一:度量、监控和预警能力级别二:无缝、快速的弹性能力级别三:感知变化、主动弹性级别四:使用AI进行流量预测和超售去中(Zoo)心(Keeper)化其它MQFusion-JMQ$start fusion-jmq$config zk-nodes$start zk$start name-server$start broker关于ZooKeeper的思考“程序员都爱ZooKeeper,但用户正相反。”如何替代ZooKeeper?1.元数据存储:分布式内存数据库2.节点发现:组播、繁殖3.通知:P2P兼顾CAP一
3、致性(一致性(ConsistencyConsistency)可用性(可用性(AvailabilityAvailability)分区容错性(分区容错性(Partition tolerancePartition tolerance)互动问题:CAP分别指?兼顾CAP一致性(一致性(ConsistencyConsistency)可用性(可用性(AvailabilityAvailability)分区容错性(分区容错性(Partition Partition tolerancetolerance)互动问题:RAFT如何取舍CAP?兼顾CAP-可用性目录123融合架构设计哲学、存储设计、主动弹性、去中心化
4、、CAP的舍与得融合协议多协议架构、MQTT、OpenMessaging融合计算MQ+Streaming多协议架构Fusion-JMQ 的原生多协议架构MQTT1.海量客户端问题2.广播问题3.Failover目录123融合架构设计哲学、存储设计、主动弹性、去中心化、CAP的舍与得融合协议多协议架构、MQTT、OpenMessaging融合计算MQ+Streaming融合计算的未来“消息中间件和流计算引擎非常有可能合二为一。”“流计算非常有可能取代以批量计算为主的大数据技术。”个人大胆预测融合计算-Streaming互动问题:Streaming有哪些的优势?互动问题:为什么没那么流行?融合计算-消息计算平台数据用户使用SQL像查询普通数据库的一样对实时数据进行计算、聚合和分析。多条SQL串/并联组成复杂DAG可配置的自动数据格式转换基于时间和任意属性的聚合SQL中支持自定义函数和聚合函数融合计算-路在何方?“然后呢?”谢谢!Gmail/GitHub: