dagster
用於數據資產開發、生產與觀測的編排平台。
dagster 是什麼?
Dagster 是一個專為數據資產的開發、生產與觀測而設計的編排平台。它協助團隊以可重複、可靠的方式建構、測試與執行數據管道,並提供豐富的觀測功能來監控數據資產的健康狀況與效能。
dagster 概覽
這是什麼
Dagster 是一個用於開發、生產與觀察資料資產的編排平台。它專為開發與維護資料資產(如資料表、資料集、機器學習模型與報告)而設計。使用者以 Python 函式宣告資料資產,Dagster 則協助在正確時間執行這些函式,保持資產更新。此平台為雲端原生,支援從本地開發到生產的完整生命週期。
主要功能
- 宣告式程式設計模型:以 Python 函式定義資料資產。
- 整合的資料血緣與可觀測性:內建元資料目錄、診斷與血緣追蹤。
- 最佳的可測試性:支援單元測試、整合測試與 CI/CD 最佳實務。
- 強大的多租戶、多工具編排引擎,可在技術與組織層面擴展。
- 統一控制平面:透過可觀測性、診斷、目錄與血緣集中管理元資料。
- 持續增長的整合函式庫,支援多種熱門資料工具。
使用情境
- 開發與維護資料資產,如資料表、資料集、機器學習模型與報告。
- 使用強大的編排引擎在生產環境中執行管線。
- 透過集中式元資料與可觀測性管理資料複雜度。
- 為資料管線導入 CI/CD 實務。
快速開始
Dagster 可從 PyPI 取得,支援 Python 3.9 至 3.14。安裝指令如下:
uv add dagster dagster-webserver dagster-dg-cli
完整教學請參閱儲存庫 README。
授權與價格
Dagster 採用 Apache 2.0 授權,為開放原始碼軟體。
內容整理自該專案公開的 README 與儲存庫資訊。