maestro
Maestro:Netflix 的工作流程編排器
maestro 是什麼?
Maestro:Netflix 的工作流程編排器 - 生產力工具(Apache-2.0 授權)
maestro 概覽
這是什麼
Maestro 是 Netflix 開發的通用工作流程編排器,提供完全託管的工作流程即服務(WAAS)給資料平台使用者。它服務數千名使用者,包括資料科學家、資料工程師、機器學習工程師、軟體工程師、內容製作人員以及商業分析師。Maestro 每天排程數十萬個工作流程與數百萬個任務,即使在流量高峰期間也能嚴格遵守服務等級目標(SLO)。
主要功能
- 完全託管的工作流程即服務(WAAS) - 每天排程數十萬個工作流程與數百萬個任務 - 在高流量下仍維持嚴格的 SLO - 高度可擴展且可延伸,以支援新使用案例 - 支援 Kubernetes 執行工作流程步驟 - 提供 Python SDK 客戶端(maestro-sdk)用於程式化工作流程建立與管理 - 透過擴充功能支援任務模板與 foreach 步驟扁平化
使用情境
Maestro 用於 Netflix 的資料與機器學習工作流程編排。它支援多種使用者與使用案例,包括資料管線排程、機器學習模型訓練管線以及商業分析工作流程。其可擴展性使其能適應新的需求。
快速開始
必要條件:Git、Java 21、Gradle、Docker。 建置並執行伺服器: ./gradlew build ./gradlew bootRun 安裝 Python SDK: pip install maestro-sdk 關於透過 REST API 或 Python SDK 建立與管理工作流程的詳細說明,請參閱儲存庫的 README。
授權與價格
Maestro 採用 Apache License 2.0 授權。它是開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。