maestro

Maestro:Netflix 的工作流程編排器

maestro 是什麼?

Maestro:Netflix 的工作流程編排器 - 生產力工具(Apache-2.0 授權)

maestro 概覽

這是什麼

Maestro 是 Netflix 開發的通用工作流程編排器,提供完全託管的工作流程即服務(WAAS)給資料平台使用者。它服務數千名使用者,包括資料科學家、資料工程師、機器學習工程師、軟體工程師、內容製作人員以及商業分析師。Maestro 每天排程數十萬個工作流程與數百萬個任務,即使在流量高峰期間也能嚴格遵守服務等級目標(SLO)。

主要功能

  • 完全託管的工作流程即服務(WAAS) - 每天排程數十萬個工作流程與數百萬個任務 - 在高流量下仍維持嚴格的 SLO - 高度可擴展且可延伸,以支援新使用案例 - 支援 Kubernetes 執行工作流程步驟 - 提供 Python SDK 客戶端(maestro-sdk)用於程式化工作流程建立與管理 - 透過擴充功能支援任務模板與 foreach 步驟扁平化

使用情境

Maestro 用於 Netflix 的資料與機器學習工作流程編排。它支援多種使用者與使用案例,包括資料管線排程、機器學習模型訓練管線以及商業分析工作流程。其可擴展性使其能適應新的需求。

快速開始

必要條件:Git、Java 21、Gradle、Docker。 建置並執行伺服器: ./gradlew build ./gradlew bootRun 安裝 Python SDK: pip install maestro-sdk 關於透過 REST API 或 Python SDK 建立與管理工作流程的詳細說明,請參閱儲存庫的 README。

授權與價格

Maestro 採用 Apache License 2.0 授權。它是開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/netflixmaestro.svg)](https://yunodb.com/tools/netflixmaestro?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/netflixmaestro?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/netflixmaestro.svg" alt="Featured on YunoDB" height="20"></a>