AReaL

為基於LLM的代理應用程式打造的RL橋樑。簡單又靈活。

AReaL 是什麼?

為基於LLM的代理應用程式打造的RL橋樑。簡單又靈活。。注意:原英文summary與tagline相同,故翻譯一致。

AReaL 概覽

這是什麼

AReaL 是一個強化學習(RL)基礎設施,旨在將基礎模型訓練與現代基於代理的應用程式連接起來。它最初由清華大學 IIIS 和螞蟻集團 AReaL 團隊的研究人員與工程師開發。AReaL 建立在完全非同步的 RL 訓練範式之上,針對效率和可擴展性進行了最佳化,特別適合訓練大規模推理與代理模型。

主要功能

  • 靈活性:只需更換 base_url,即可無縫自訂代理 RL 與黑箱代理應用的線上 RL 訓練。
  • 可擴展性:穩定且完全非同步的 RL 訓練,具備業界領先的速度。
  • 尖端效能:在數學、程式碼、搜尋與客服代理方面達到最先進水準。

使用情境

AReaL 用於訓練大規模推理與代理模型。範例任務包括數學推理(如 GSM8K)、多輪數學代理、倒數數字遊戲、搜尋代理(ASearcher)以及客服代理。它支援代理應用的端到端非同步 RL 訓練。

快速開始

git clone https://github.com/areal-project/AReaL
cd AReaL
pip install uv
### 先安裝 flash-attn 預編譯 wheel 以避免從原始碼編譯
### (根據你的 Python 版本選擇 wheel;參見 https://github.com/mjun0812/flash-attention-prebuild-wheels/releases)
uv pip install "https://github.com/mjun0812/flash-attention-prebuild-wheels/releases/download/v0.7.16/flash_attn-2.8.3+cu128torch2.9-cp312-cp312-linux_x86_64.whl"
uv sync --extra cuda  # 安裝訓練套件 + SGLang(預設推理後端)
### 若使用 vLLM:cp pyproject.vllm.toml pyproject.toml && cp uv.vllm.lock uv.lock && uv sync --extra cuda

在單節點上執行:

python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

完整的設定說明請參閱儲存庫的 README。

授權與價格

授權:Apache-2.0。價格:開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/areal-projectareal.svg)](https://yunodb.com/tools/areal-projectareal?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/areal-projectareal?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/areal-projectareal.svg" alt="Featured on YunoDB" height="20"></a>