《RocketMQ Connect 构建数据流转处理平台_傅玉宝.pdf》由会员分享,可在线阅读,更多相关《RocketMQ Connect 构建数据流转处理平台_傅玉宝.pdf(24页珍藏版)》请在三个皮匠报告上搜索。
1、傅玉宝Apache RocketMQ Committer阿里云消息混合云负责人RocketMQ Connect RocketMQ Connect 构建数据流转处理平台构建数据流转处理平台Contents01RocketMQ Connect 概述02RocketMQ Connect 实现原理03RocketMQ Connect 与OceanBase构建数据流转平台04RocketMQ Connect 现状与未来目 录05总结01RocketMQ Connect 概述削峰填谷异步解耦通过业务系统的松耦合设计,即便下游系统出现不可用甚至宕机,都不会影响到核心系统的正常运转,同时由于上下游异步解耦,可
2、以灵活高效的适应因业务快速发展而带来的变化,如新系统扩容。秒杀、抢红包等大型活动时会正在短时间内带来较高的流量,如果没做相应的保护而导致系统超负荷甚至崩溃,或因限制太过导致请求大量失败而影响用户体验,削峰填谷是解决该问题的有效方式。RocketMQ Connect 概述Apache RocketMQ 介绍事务消息交易、红包等场景需要确保数据的最终一致性,大量引入 RocketMQ 的分布式事务,既可以实现系统之间的解耦,又可以保证数据的一致性。RocketMQ Connect 概述RocketMQ 丰富的数据生态SourcesDestinationRocketMQ Connect 概述没有 C
3、onnect 的数据同步方案OB2ESData syncProducerServiceConsumerService方案一方案二Data PipelineRocketMQ Connect 概述没有 Connect,数据同步面临的挑战数据源多 上百数据源,n*n 问题 系统差异性较大 研发周期长高可用Failover 能力当一个节点挂掉是否这个节点的任务就停止了,任务重新启动是否还可以断点续传集群运维集群监控,运维管理,随着数据管道的增多,如何管理,运维监控这些数据管道也变的越来越复杂高性能如何高效的从源数据源到目的数据源的数据同步弹性扩缩容根据系统流量动态的增加减少节点数量,既能通过扩容满足高
4、峰期业务,也能在低峰期缩减节点,节省成本RocketMQ Connect 概述构建 RocketMQ Connect 数据集成解决方案1.标准化数据集成 API(Openmessaging Connect API)(标准数据同步格式,数据及 Schema,任务模型抽象)。2.标准化运行时-Connect Runtime。3.基于 Connector API 生态扩展能力。CDC流计算数据湖MySQLOceanBaseRedisESHivePostgreSQLDirosMongoDBHudiRocketMQ Connect Runtime集群管理配置管理位点管理负责均衡REST APIhttp:
5、/127.0.0.1:8081/connectors/OceanbaseConnector1?config=connector.class:org.apache.rocketmq.connect.mysql.OceanbaseSourceConnector,connect.topicname:table1Topic,jdbc:/Users/connect/sink-file1.txt,username:root,password:123456,table:table1http:/127.0.0.1:8081/connectors/ESSinkConnector1?config=connecto
6、r.class:org.apache.rocketmq.connect.es.ESSinkConnector,connecttopicnames:table1Topic,jdbc:/Users/connect/sink-file1.txt,username:root,password:123456,table:table1配置化使用RocketMQ Connect 概述Connect 方案的优势 模型统一,基于 Connect 框架,标准化接入各种数据源。插件式,易添加 Connctor,成本低。高可用,自动容错处理。易扩展,动态扩缩容。易运维,提供统一集群管理、监控的能力。RocketMQ
7、Connect 概述Connect 典型应用场景 新旧系统数据迁移(例如:MySQL-OceanBase)构建 Streaming Pipeline 数据通道 构建数据湖,搜索引擎,ETL 平台等等 基于 Replicator 实现 RocketMQ 多活容灾02RocketMQ Connect 实现原理RocketMQ Connect 原理High Level 架构Connect RuntimeSourceConnectorSink Connectortask2task1Connect Runtime:配置管理、负载均衡、任务调度。Worker:运行 Connector 实例和Task的线程
8、,同时包括对应的运行环境。Rest API 服务Connector:定义数据的来源和目标,并确定任务的数量,从Worker接收配置传递给同步任务。pulltask2task1pull数据流控制流RocketMQ Connect 原理集群部署 Connect 容错机制Source Connector1Source Connector2w1t2w1t1w2t2w2t1Source Connector3w3t1w3t1worker1worker2worker3RocketMQ Connect 原理集群部署 Connect 容错机制Source Connector1Source Connector2w
9、1t2w1t1w2t2w2t1Source Connector3w3t1w3t1worker1worker2worker3宕机RocketMQ Connect 原理集群部署 Connect 容错机制Source Connector1Source Connector2w1t2w1t1w2t2w2t1Source Connector3w3t1w3t1worker1worker2worker3w3t1w3t2RocketMQ Connect 原理Rest API POST/connectors/connector name GET/connectors/connector name/config G
10、ET/connectors/connector name/status POST/connectors/connector name/stop03RocketMQ Connect 与OceanBase构建数据流转平台RocketMQ Connect 与 StreamingStreaming 典型应用场景业务1业务2业务3ETL数据应用 事件驱动型应用,由事件触发计算、状态更新或进行外部操作。如金融反诈、实时推荐、在线监控。数据分析型应用,对原始数据进行提取有价值的信息,进行分析。如企业BI、疫情防控。业务系统数据存储数据流RocketMQ Connect 与 OceanBase 构建数据流转平
11、台基于 Connect 构建 RocketMQ Streaming业务1业务2业务3Connect业务系统数据存储数据流RocketMQStreaming业务系统04RocketMQ Connect 现状与未来Preview 阶段OpenMessaging Connect API 1.0RocketMQ Connect Runtime 实现10+Connecotor 实现(MySQL,Redis,Kafka,Jms,MongoDB)RocketMQ Connect 现状与未来RocketMQ 数据集成发展历程1.0 阶段OpenMessaging Connect API 2.0升级;Rocke
12、tMQ Connect Runtime 升级(Schema,Transform 特性支持)30+Connecotor 实现(CDC,JDBC,SFTP,NoSQL,缓存,HTTP,AMQP,JMS,数据湖,数仓,Replicator,Kafka ConnectorAdaptor)2.0 阶段100+Connector 生态RocketMQ Connect 现状与未来RocketMQ 数据集成发展历程总结一个分布式、可扩展,容错,高可靠的数据集成组件,实现 RocketMQ 与其它数据系统之间数据的流入流出,通过 RocketMQ Connect 可以实现 CDC,构建数据湖,结合流计算实现数据价值。RocketMQ ConnectThank you!RocketMQ 用户调研GitHub:/oceanbase/服务号:OceanBase 数据库星球论坛: