1、|Apache Seatunnel(incubator)数据集成平台高俊 白鲸开源 架构师|2关于我开源爱好者开源爱好者10年大数据相关工作，主要从事大数据平台建设、OLAP引擎设计研发工作。开源爱好者，参与多个开源项目的贡献。Apache DolphinScheduler PMCApache SeaTunnel(incubator)ContributorTrino ContributorApache Arrow-Datafusion Contributor|01SeaTunnel的设计目标02SeaTunnel现状03SeaTunnel整体设计05Connector接入激励计划目录CONTE

2、NT|04近期规划|01SeaTunnel设计目标|数据源多，版本间不兼容，且不断有新的出现简单易用的，分布式可扩展的支持超数据级的简单易用的，分布式可扩展的支持超数据级的吞吐低延时的数据集成平台。吞吐低延时的数据集成平台。企业技术栈差异，导致选择同步组件时需要更多的学习成本。离线同步和实时同步常被分开管理，维护困难数据同步需要吞吐低时延，数据致性要求。SeaTunnel的设计目标|02SeaTunnel现状|SeaTunnel现状连接器数量支持的连接器有50+支持数据源Source20+支持目标端Sink 20+支持Transform 10+|同个连接器，只需要在env配置中指定job.mo

3、de为BATCH或STREAMING即可轻松切换离线和实时同步两种模式。支持离线同步和实时同步两种式支持离线同步和实时同步两种式流批体流批体只需要实现只需要实现个连接器个连接器适配纯流和适配纯流和微批微批SeaTunnel现状流批一体|多引擎支持多引擎支持SeaTunnel多引擎支持为了更好的兼容企业已有的技术态，降低使用SeaTunnel的技术成本.已经支持的引擎支持多个版本的Flink引擎，完美支持Flink的Checkpoint流程Flink支持Spark微批处理模式，支持聚合提交特性Spark专为数据同步场景设计的引擎，还在开发中。SeaTunnel内部引擎，为那些没有数据态的企业或追

4、求数据同步最佳体验的用户提供可选案SeaTunnel EngineSeaTunnel现状多引擎支持|高吞吐高吞吐低延迟低延迟精确性精确性SeaTunnel支持Source/Transform/Sink的并行化处理，提高吞吐性能基于引擎提供的实时处理或微批处理实现低延迟分布式快照算法支持两阶段提交幂等写入Exactly-OnceSeaTunnel现状性能、一致性|SeaTunnel 社区现状|SeaTunnel 用户|03SeaTunnel整体设计|Engine independent Connector APIConnector TranslationSource ConnectorTrans

5、form Connector多引擎支持，多引擎支持，Spark/Flink/?Sink Connector0SeaTunnel整体架构|SeaTunnel 使用方式|SeaTunnel Execution Flow|SeaTunnel Connector Flow|流批体流批体统了流和批的处理API，新的Connector只需要按API实现次，即可同时支持流处理和批处理下的数据集成。03JDBC多复用多复用/数据库日志多表解析数据库日志多表解析支持多表或整库同步，解决JDBC连接过多的问题；支持多表或整库数据库日志读取解析，解决CDC多表同步场景下需要重复解析日志的问题。

6、04与引擎解藕，专为数据集成与引擎解藕，专为数据集成场景设计场景设计.多引擎支持多引擎支持定义套SeaTunnel自的API，解决以往针对不同的处理引擎需要写两套不同的Connector的问题，实现套代码可在不同的引擎上执。01多版本支持多版本支持通过Translation层将Connector与引擎解藕，解决以往为了支持底层引擎个新的版本，部分Connector都需要修改代码的问题。02Engine independent Connector API|SeaTunnelConnectorSparkTranslationFlinkTranslation基于基于SeaTunnelConnecto

7、r API实现实现基于基于Spark Connector API，将，将SeaTunnel API实现的实现的Connector包包装成装成Spark Connector基于基于Flink Connector API，将，将SeaTunnel API实现的实现的Connector包装包装成成Flink ConnectorSparkConnector可以运在可以运在Spark上的上的Connector，内部已经实现了从内部已经实现了从SeaTunnel Row转换成转换成Spark数据结构的法数据结构的法FlinkConnector可以运在可以运在Flink上的上的Connector，内部已经实

8、现了从内部已经实现了从SeaTunnel Row转换成转换成Flink数据结构的法数据结构的法Connector Translation|Source APIKeywordSource特性特性KeywordSource API统一离线与实时统一离线与实时API支持并行读取支持并行读取支持动态发现分片支持动态发现分片支持协调读取支持协调读取支持状态存储、恢复支持状态存储、恢复BoundednessSourceReader&Source SplitSource Split&EnumeratorSupportCoordinate&SourceEventsnapshotState|Coordinate

9、dSource Connector1.支持协调器2.只支持一个并行|ParallelSource Connector1.支持多并发2.需要定义分区算法|配合配合Source支持支持Exactly-Once次语义次语义Sink Write接收上游数据并写目标端State储存储存支持状态存储，由connector将状态存储在HDFS，支持基于状态重启connector分布式事务分布式事务支持两阶段提交的分布式事务，配合引擎的checkpoint机制，保证Sink数据只写次commiter支持每个Task独立进事务提交聚合提交聚合提交支持所有Sink Task起聚合提交Sink API|Global

10、Commit Run In DriverSpark version=2.3+Or Flink version=1.12|GlobalCommit Run In WorkerFlink version=1.11|Commit In Worker支持所有版本的Flink不支持Spark|面向应用的面向应用的API，简化同步作业配置，简化同步作业配置，提供可视化作业配置的基础提供可视化作业配置的基础数据源管数据源管理理SeaTunnel定义了套API来支持创建数据源插件，基于SPI实现后即可集成该数据源的配置、连接测试作。元数据获元数据获取取支持获取数据源的表结构（库名、表名、字段名、字段类型等），

11、便可视化的配置同步作业的源和目标端的表名映射，字段映射等。数据类型定数据类型定义义由于需要支持多引擎，所有连接器中都使用SeaTunnel的格式，在ConnectorTranslation会转换为对应引擎的格式。连接器创连接器创建建SeaTunnel提供了套API用于创建自动获取信息创建Source，Sink等实例。SeaTunnel Table&Catalog API|04SeaTunnel近期规划|更多、更快、更好用更多、更快、更好用V2版本连接器数量翻倍到版本连接器数量翻倍到所有Spark/Flink连接器升级到V2版本。连接器总数今年翻倍，达到80+发布发布SeaTunnel Web可视化作业管理编程式和引导式作业配置。内部调度+三调度发布发布SeaTunnel Engine更省资源更细粒度的容错更快SeaTunnel 近期规划过程监控|05SeaTunnel Connector接入激励计划|SeaTunnel Connector 接入激励计划基于SeaTunnel Connector API难易分明、门槛低完善态|SeaTunnel Connector 接入激励计划l积积分、领礼包、做贡献、乐限l现在上车也不晚参与活动、做贡献、领礼包参与活动、做贡献、领礼包|非常感谢您的观看|