mlflow

mlflow 概覽

這是什麼

MLflow 是一個開源的人工智慧工程平台，適用於代理程式、大型語言模型（LLM）與機器學習模型。它讓團隊能夠偵錯、評估、監控與最佳化生產級 AI 應用程式，同時控制成本並管理模型與資料的存取。根據 README，MLflow 每月下載量超過 6000 萬次，每天有數千個組織使用。它支援 Python、TypeScript/JavaScript、Java 及其他語言，並與 OpenTelemetry 和 MCP 整合。

主要功能

• 可觀測性：完整擷取 LLM 應用程式與代理程式的追蹤資訊，基於 OpenTelemetry，支援任何 LLM 提供者與代理框架。
• 評估：使用 50 多種內建指標與 LLM 評判進行系統性評估，或自訂指標。
• 提示詞與最佳化：對提示詞進行版本控制、測試與部署，並保留完整歷程；使用先進演算法自動最佳化提示詞。
• AI 閘道：統一的 API 閘道，適用於所有 LLM 提供者，具備速率限制、備援、成本控制、憑證管理、護欄與流量分割功能。
• 實驗追蹤：跨實驗追蹤模型、參數、指標與評估結果。
• 模型註冊表：協作管理機器學習模型的完整生命週期。
• 部署：將模型部署至 Docker、Kubernetes、Azure ML、AWS SageMaker 等平台，支援批次與即時評分。

使用情境

建置、偵錯、評估與部署生產級 LLM 應用程式與 AI 代理程式。管理從實驗追蹤到模型部署的完整機器學習生命週期。跨團隊控制成本並管理模型與資料的存取。

快速開始

從專案的 Git 儲存庫執行設定精靈： bash curl -LsSf https://mlflow.org/wizard/setup.sh | sh 啟動 MLflow 伺服器： bash uvx mlflow server 在 Python 程式碼中啟用記錄： python import mlflow mlflow.set_tracking_uri('http://localhost:5000') mlflow.openai.autolog() 然後執行程式碼，並在 http://localhost:5000 檢視追蹤資訊。

授權與價格

MLflow 採用 Apache 2.0 授權條款，為開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。