airflow
Apache Airflow - 一個用於以程式方式編寫、排程和監控工作流程的平台
airflow 是什麼?
Apache Airflow - 一個用於以程式方式編寫、排程和監控工作流程的平台
airflow 概覽
這是什麼
Apache Airflow(或簡稱 Airflow)是一個以程式化方式撰寫、排程與監控工作流程的平台。工作流程以程式碼定義時,會更具可維護性、可版本控制、可測試與可協作。Airflow 使用 DAG 來協調任務;排程器會依照指定相依性,在多位 worker 上執行任務。
主要功能
- 工作流程以程式碼定義,可動態產生 DAG 並參數化。
- 排程器會依照指定相依性,在 worker 上執行任務。
- 豐富的命令列工具可用於操作 DAG。
- 豐富的使用者介面可視覺化生產環境中執行的管線、監控進度,並在需要時排解問題。
- 框架內建多種 operator,且可擴充以符合需求。
- Airflow 使用 Jinja 範本引擎進行自訂。
- 任務可透過 XCom 傳遞中繼資料。
使用情境
Airflow 適合工作流程大多靜態且緩慢變動的情境。它常用於處理資料。它也用於協調機器學習工作流程,包括訓練、重新訓練、評估與部署。它日益用於協調代理式與 LLM 工作負載,協調 AI 管線步驟(例如資料準備、工具呼叫、模型呼叫、評估),而非本身作為代理。Airflow 不是串流解決方案,但常透過從串流中批次拉取資料來處理即時資料。
快速開始
README 指向官方 Airflow 網站文件,以取得安裝 Airflow、快速開始與更完整教學的說明。README 未提供安裝或快速開始命令。請參閱儲存庫 README 與官方文件。
授權與價格
Apache-2.0。中繼資料將價格類型列為 open_source。未述及其他價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。