當前位置: 妍妍網 > 碼農

今日軟薦:12.7K Star!一款分布式可延伸的工作流排程系統,大規模集群排程不在話下!

2024-09-14碼農

DolphinScheduler 是一款優秀的分布式工作流排程系統,尤其適合大規模數據處理和排程需求。

無論是數據 ETL、機器學習模型的訓練,還是即時數據的處理,它都能提供強大的排程功能和高效的保障,滿足復雜多樣的業務需求。

DolphinScheduler 的核心特性

1. 易於部署

DolphinScheduler 提供了四種部署方式:

  • 獨立部署 :適合小規模套用,快速部署和執行。

  • 集群部署 :為大規模生產環境提供支持,確保系統在高負載情況下穩定執行。

  • Docker 和 Kubernetes 部署 :方便開發者和運維人員使用容器化方式進行部署,輕松應對擴充套件需求。

  • 2. 易於使用

    無論是數據工程師、開發者還是 DevOps 團隊,DolphinScheduler 都提供了簡單的操作體驗:

  • Web UI :透過圖形化界面輕松建立和管理工作流,適合無需程式碼背景的人員。

  • Python SDK Open API :為開發者提供了豐富的編程介面,能夠透過指令碼或程式碼靈活建立和管理工作流。

  • 3. 高可靠性和高可用性

  • • DolphinScheduler 采用分布式架構,支持內送流量備援容錯機制節點和多工作節點,保證系統在故障時的自動恢復。

  • 水平擴充套件能力 :根據業務增長情況,系統能夠靈活擴充套件,不會因負載增加而影響效能和穩定性。

  • 4. 高效能

    DolphinScheduler 的排程效能遠超其他同類排程系統,能夠高效處理每天數千萬級別的任務,輕松應對大規模集群和高頻排程需求。

    5. 雲原生支持

    DolphinScheduler 支持在雲端環境(如多雲、數據中心等)進行工作流編排和排程,同時支持自訂任務型別,滿足不同企業的個人化需求。

    6. 版本控制

    DolphinScheduler 支持工作流和任務的版本控制,保證在系統更新或工作流變更時,歷史版本能夠被保留和恢復,保障業務的連續性。

    7. 靈活的狀態控制

    工作流和任務可以隨時被暫停、停止或恢復,無論是臨時調整,還是故障恢復,使用者都能輕松掌控工作流的狀態。

    8. 多租戶支持

  • • DolphinScheduler 提供了強大的許可權控制和多租戶支持,使用者可以根據角色和計畫進行細粒度的許可權劃分。

  • • 原生支持回填操作,並且在 Web UI 中就可以完成復雜許可權的配置。

  • 使用場景

  • 數據 ETL 流程 :透過排程大量數據提取、轉換和載入任務,確保數據能夠高效、準確地流動到分析平台。

  • 機器學習模型訓練 :DolphinScheduler 能夠自動排程模型訓練任務,輕松管理長時間訓練任務和資源使用情況。

  • 即時數據處理 :為需要快速響應的數據處理任務提供排程支持,確保即時數據處理的可靠性和時效性。

  • GitHub 地址: https://github.com/apache/dolphinscheduler

    DolphinScheduler 是一個功能豐富且高效能的排程系統,無論在數據處理、模型訓練還是大規模任務排程場景中,它都能為使用者提供可靠的支持。

    往期推薦 ⬇️ 『今日軟薦』專題

    PS:動動小手指, 點點 「在看」 吧!