apache/dolphinscheduler

运维与部署

低代码调度与编排跨团队、跨云的有依赖数据管道任务。

14,539
5,122
Java
Apache-2.0
创建于 7 年前

Apache DolphinScheduler 是一个数据工作流编排平台:团队把任务及其依赖定义成 DAG,再调度、监控、暂停、停止或回补运行。它适合需要协调批处理管道(ETL、大数据、机器学习预处理)的团队,而不是只跑单个脚本。

工作流如何运转

用户在拖拽式 Web UI 中搭建工作流,并从内置任务类型中选择;项目还提供 Python SDK 和 Open API,可用代码方式创建和管理工作流 工作流界面与内置任务、Python SDK。调度器跟踪任务之间的复杂依赖,界面同时提供 DAG 和抽象树形视图来展示任务关系 工作流树形视图。数据源视图统一接入 MySQL、PostgreSQL、Hive、Trino 等外部系统 数据源支持,监控页展示 master、worker 和数据库状态及资源占用、负载 监控页。

运行方式

文档给出的部署方式有 Standalone、Cluster、Docker 和 Kubernetes,另有 Terraform 路径 部署选项、Kubernetes 指南、Terraform。按项目描述,集群模式采用去中心化的多 master、多 worker 架构,原生支持横向扩展,并声称每天可处理数千万任务 README 功能列表。工作流和工作流实例(含任务)都支持版本管理;运行可暂停、停止和恢复;还提供多租户以及项目、数据源级别的权限控制。

要求与注意事项

项目面向企业级分布式环境;所宣传的吞吐量和“比其他编排平台快数倍”是作者说法,没有给出条件或基准细节 README。平台和资源前置条件随部署方式而异,采用前应查看对应模式的指南。监控、租户和权限功能意味着需要运维团队和外部数据库基础设施,但 README 摘录未给出最低硬件、支持版本或升级/回滚流程。Apache-2.0 许可证按条款允许商用、修改和再分发 Apache-2.0。

用户证据

一位 2022 年的评论者称已用它一年多,把大数据平台和机器学习平台连接起来,运行稳定;另一位称它适合企业场景,具备可视化任务和 DAG 依赖能力 用户评论、评论。这些是旧版本上的未验证个人意见,不构成当前验证。

本文由 AI 根据项目 README 生成,更新于 2026年10月29日,以项目官方文档为准。

Hacker News 讨论

The modern data workflow orchestration platform – Apache DolphinScheduler
▲ 8 · 10 条评论 · 2022年10月26日
ApacheDolphinScheduler is back on the GitHub Trending weekly list
▲ 1 · 1 条评论 · 2024年10月31日