1、综合技术专场代立冬 2021年08月01日新一代大数据调度平台 Apache DolphinScheduler 最新进展&RoadmapDolphinScheduler 介绍Apache DolphinScheduler 是一个云原生并带有强大可视化界面的大数据工作流调度系统。2021 年 04 月 09 日正式成为 Apache 顶级项目。首个由国人主导并贡献到 Apache 基金会的大数据工作流领域顶级项目。已累计有 400+公司在生产上使用。DolphinScheduler 致力于在数据工作流编排中“解决复杂的大数据任务依赖及触发关系，让各种大数据任务类型开箱即用”。DolphinSch

2、eduler 部分用户(不分先后)社区建设情况代码贡献者文档贡献者研发 DolphinScheduler 的背景DolphinScheduler 优势高可靠性丰富的使用场景高扩展性、云原生能力l去中心化的多 Master 和多 Worker,自身高可用能力l采用任务队列来避免过载，不会造成机器卡死l一键部署 简化部署，易维护l可视化 DAG 界面，所有流程定义都是可视化，通过拖拽任务形成工作流模板l支持 Open API 方式与第三方系统对接l支持暂停恢复操作l支持多租户，权限管理等大数据应用场景l支持近 20 种任务类型，如 Spark,Hive,MR,Python,Sub-Process,

3、Shell 等l支持自定义任务类型l调度器使用分布式调度，调度能力随集群线性增长l弹性伸缩，Master 和 Worker 支持动态上下线简单易用DolphinScheduler 能力 支持每日百万量级任务稳定运行 弹性伸缩 工作流可定时、依赖、手动、暂停/停止/恢复 Task 以 DAG 形式连接，实时监控任务的状态 去中心化设计确保系统的稳定、高可用 支持 Shell、MR、Spark、SQL、依赖等 10 多种任务类型 支持多租户、补数、日志在线查看及资源在线管理 完善的系统服务监控，任务超时告警/失败 工作流优先级、任务优先级，全局参数及局部自定义参数DolphinScheduler

4、可视化流程任务多粒度监控任务执行状态回溯数据加工平台任务监控总览流程实例状态查看任务执行日志查看任务执行日志查看，方便运维实时了解任务运行状况，快速定位问题云原生 弹性伸缩 充分利用服务器资源 环境隔离 DolphinScheduler 1.3 架构 DolphinScheduler 2.0 架构 Roadmap高性能-Master 重构减少数据库轮询去分布式锁减少线程使用DolphinScheduler 2.0 架构规划与 Roadmap1.3 版本现状-分布式锁DolphinScheduler 2.0 架构 Roadmap2.0 优化 去分布式锁DolphinScheduler 2.0 架

5、构 Roadmap重构 Master 中的线程模型1.3 Master 现状 使用一个主线程池执行所有 DAG 工作流 主线程池执行过程中为每个工作流创建一 个 任务线程池 Master 能并发处理的工作流为 m,并发处理的任务为 n，会产生m*n 个线程DolphinScheduler 2.0 架构 Roadmap重构 Master 中的线程模型其他重要变化新增 API 与 Master、Master 和 Master 之间直接通信功能,负责同步任务及工作流状态的变化MasterSchedulerServiceThreadPoolWorkFlowExecuteThreadAPIStateEv

6、entExecuteServiceThreadPoolStateWheelExecuteService负责从 Command 表中分片获取 command,构造工作流实例，启动 WorkFlowExecuteThread 处理负责构建 DAG,DAG 拆分，生成任务实例，提交到任务队列；同时负责处理任务状态和工作流状态变化负责接收其他 Master/Worker 发过来的任务状态和工作流状态变化事件，并提交 WorkFlowExecuteThread 状态处理负责任务/工作流超时监控DolphinScheduler 2.0 架构 Roadmap 告警 SPI 注册中心 SPI 资源存储 SPI

7、 任务插件 SPI 数据源 SPI所有扩展点都采用插件化实现DolphinScheduler 2.0 架构规划与 Roadmap支持更多数据组件集成 目前的 10 多种任务类型可能不能满足需求数据同步任务KETTLE 任务数据质量.SQL 任务存储过程任务业务任务 1业务任务 N解决办法：任务 SPI 化 后续实现热插拔有个任务队列设置的页面，这个页面可以设置多个队列，每个队列里可以设置任务并发数，每个任务可以指定他所属的队列页面爆炸只关注自己相关的任务任 务 结 果 参 数 递 (d o n e)任 务 并 发 数 控 制列 表 依 赖工 作 流 版 本 管 理 (d o n e)Dolph

8、inScheduler 2.0 架构规划与 RoadmapRoadmap 2.0 架构改造完成 任务血缘分析智能生成 DAG 依赖 提供 Python SDK 数据质量任务 容器调度任务 CI、CD 等其他系统集成长期 Roadmap 核心依赖组件不可用时，系统仍然能够完成关键调度工作 毫秒级超低延迟 更高的调度吞吐量 智能化运维系统更稳、速度更快Roadmap使用场景 360 的应用321678459资源文件的在线上传，管理jar 包不怕丢实现集群高可用集群去中心化支持多租户咱俩不能用一个账号权限管理我只能访问授权的项目和资源各种复杂调度定时调度、依赖调度、手动调度丰富的任务类型可视化分布式

9、易扩展无单点问题资源不够了要扩容spark shell MR HIVE python拖拽生成 DAG工作流任务失败重试/告警你想重试几次 每次间隔多久 失败要不要发邮件告诉你？使用场景 联通的应用使用场景 联通的应用AirflowDolphinScheduler二开成本Python开发成本较高Java，流程清晰，代码简洁，成本相对较低社区活跃度比较活跃比较活跃集群扩展需重启worker节点可随时在zk中注册和删除 master、worker，操作简单，稳定向高，可扩展性强单点故障主从模式，存在一定的单点风险多 master 多 worker，注册 zk，一个节点挂了不影响其他节点过载处理任务量

10、大，调度的性能会急剧下降，甚至卡死服务器任务过多会依靠队列排队作业编排流程定义需要编写Python脚本支持任务拖拽配置，本土化亮点突出，用户交互友好节点类型BashOperator、PythonOperator、SSHOperator、HiveOperator，DockerOperator，OracleOperator，MysqlOperator，DummyOperator，SimpleHttpOperator、自定义节点Shell 节点、子流程节点、存储过程、SQL 节点、SPARK节点、MR、Python 节点、依赖节点、HTTP节点、自定义节点暂停与重跑否支持暂停流程、支持任意节点重跑全

11、局变量支持全局变量，项目内所有流程可见，缺乏变量权限控制暂不支持使用场景 联通的应用DolphinScheduler 部分用户(不分先后)2017.122018.052019.022019.032019.052019.08外部种子用户使用3月30号正式对外开源 1.0.0版本 决定开源花了2个月进行重构升级内部使用千帆产品线使用DolphinScheduler架构设计进入apache孵化器1.0.1、1.0.2、1.0.3相继推出1.0.1、1.0.2、1.0.3版本Apache第一个版本1.2.02019.121.3.4、1.3.5Apache 顶级项目2021.04.09DolphinScheduler SloganSUCCESS工具选的好调度用的对半夜安心睡下班回家早zzzzzz为何要参与开源开源技术能力提升12成就感、自信心3创新6结交高手、提高交流技巧5丰富简历，利于找工作4个人影响力、个人晋升如何参与开源DolphinScheduler 社区参与贡献的方式，包括：欢迎加入贡献的队伍，加入开源从提交第一个 PR 开始,-找到带有 easy to fix 标记或者一些非常简单的issue，修复后 提交PRDolphinScheduler 2020年荣誉