AReaL
為基於LLM的代理應用程式打造的RL橋樑。簡單又靈活。
AReaL 是什麼?
為基於LLM的代理應用程式打造的RL橋樑。簡單又靈活。。注意:原英文summary與tagline相同,故翻譯一致。
AReaL 概覽
這是什麼
AReaL 是一個強化學習(RL)基礎設施,旨在將基礎模型訓練與現代基於代理的應用程式連接起來。它最初由清華大學 IIIS 和螞蟻集團 AReaL 團隊的研究人員與工程師開發。AReaL 建立在完全非同步的 RL 訓練範式之上,針對效率和可擴展性進行了最佳化,特別適合訓練大規模推理與代理模型。
主要功能
- 靈活性:只需更換
base_url,即可無縫自訂代理 RL 與黑箱代理應用的線上 RL 訓練。 - 可擴展性:穩定且完全非同步的 RL 訓練,具備業界領先的速度。
- 尖端效能:在數學、程式碼、搜尋與客服代理方面達到最先進水準。
使用情境
AReaL 用於訓練大規模推理與代理模型。範例任務包括數學推理(如 GSM8K)、多輪數學代理、倒數數字遊戲、搜尋代理(ASearcher)以及客服代理。它支援代理應用的端到端非同步 RL 訓練。
快速開始
git clone https://github.com/areal-project/AReaL
cd AReaL
pip install uv
### 先安裝 flash-attn 預編譯 wheel 以避免從原始碼編譯
### (根據你的 Python 版本選擇 wheel;參見 https://github.com/mjun0812/flash-attention-prebuild-wheels/releases)
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
uv sync --extra cuda # 安裝訓練套件 + SGLang(預設推理後端)
### 若使用 vLLM:cp pyproject.vllm.toml pyproject.toml && cp uv.vllm.lock uv.lock && uv sync --extra cuda
在單節點上執行:
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
完整的設定說明請參閱儲存庫的 README。
授權與價格
授權:Apache-2.0。價格:開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。