dagster

用於數據資產開發、生產與觀測的編排平台。

dagster 是什麼?

Dagster 是一個專為數據資產的開發、生產與觀測而設計的編排平台。它協助團隊以可重複、可靠的方式建構、測試與執行數據管道,並提供豐富的觀測功能來監控數據資產的健康狀況與效能。

dagster 概覽

這是什麼

Dagster 是一個用於開發、生產與觀察資料資產的編排平台。它專為開發與維護資料資產(如資料表、資料集、機器學習模型與報告)而設計。使用者以 Python 函式宣告資料資產,Dagster 則協助在正確時間執行這些函式,保持資產更新。此平台為雲端原生,支援從本地開發到生產的完整生命週期。

主要功能

  • 宣告式程式設計模型:以 Python 函式定義資料資產。
  • 整合的資料血緣與可觀測性:內建元資料目錄、診斷與血緣追蹤。
  • 最佳的可測試性:支援單元測試、整合測試與 CI/CD 最佳實務。
  • 強大的多租戶、多工具編排引擎,可在技術與組織層面擴展。
  • 統一控制平面:透過可觀測性、診斷、目錄與血緣集中管理元資料。
  • 持續增長的整合函式庫,支援多種熱門資料工具。

使用情境

  • 開發與維護資料資產,如資料表、資料集、機器學習模型與報告。
  • 使用強大的編排引擎在生產環境中執行管線。
  • 透過集中式元資料與可觀測性管理資料複雜度。
  • 為資料管線導入 CI/CD 實務。

快速開始

Dagster 可從 PyPI 取得,支援 Python 3.9 至 3.14。安裝指令如下:

uv add dagster dagster-webserver dagster-dg-cli

完整教學請參閱儲存庫 README。

授權與價格

Dagster 採用 Apache 2.0 授權,為開放原始碼軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/dagster-iodagster.svg)](https://yunodb.com/tools/dagster-iodagster?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/dagster-iodagster?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/dagster-iodagster.svg" alt="Featured on YunoDB" height="20"></a>