oumi
輕鬆微調(SFT/RL)、評估與部署 Qwen、Gemma 或任何開放式代理型 LLM/VLM!
oumi 是什麼?
輕鬆微調(SFT/RL)、評估與部署 Qwen、Gemma 或任何開放式代理型 LLM/VLM!
oumi 概覽
這是什麼
Oumi 是一個完全開源的平台,涵蓋基礎模型的完整生命週期,從資料準備、訓練到評估與部署。支援從 10M 到 400B+ 參數的模型,並可處理文字與多模態模型。
主要功能
- 使用 SFT、LoRA、QLoRA、DPO、GRPO 等技術訓練與微調模型。
- 建構具備工具使用能力的代理模型,包括工具呼叫 SFT、可執行的工具環境,以及透過 verl GRPO 進行強化學習。
- 支援多種文字與多模態模型,如 Llama、Gemma、Qwen、DeepSeek、GLM、Phi 等。
- 使用 LLM 評審合成與策劃訓練資料,包含多輪工具使用對話。
- 透過 vLLM、SGLang 提供模型服務,或使用
oumi deploy部署至專用端點。 - 在標準基準測試與多標準評分評審上評估模型。
- 可在筆電、叢集或雲端(AWS、Azure、GCP、Lambda、Modal、Slurm)上執行,並提供一致的 API。
使用情境
- 針對特定任務微調開源 LLM 與 VLM。
- 訓練使用工具與環境的代理模型。
- 合成與策劃訓練資料。
- 將模型部署至生產推理端點。
- 在雲端叢集上執行大規模實驗。
快速開始
安裝選項:
### 基本安裝
uv pip install oumi
### 含 GPU 支援
uv pip install 'oumi[gpu]'
### 最新開發版本
uv pip install git+https://github.com/oumi-ai/oumi.git
### 使用 Docker
docker pull ghcr.io/oumi-ai/oumi:latest
docker run --gpus all -it ghcr.io/oumi-ai/oumi:latest oumi --help
### 快速安裝腳本(實驗性)
curl -LsSf https://oumi.ai/install.sh | bash
CLI 使用範例:
### 訓練
oumi train -c configs/recipes/smollm/sft/135m/quickstart_train.yaml
### 評估
oumi evaluate -c configs/recipes/smollm/evaluation/135m/quickstart_eval.yaml
### 推理
oumi infer -c configs/recipes/smollm/inference/135m_infer.yaml --interactive
授權與價格
授權:Apache-2.0。價格:開源免費。
內容整理自該專案公開的 README 與儲存庫資訊。