AgileRL
完整的LLM後訓練堆疊,加上適用於任何問題的強化學習。內建SFT、DPO與多輪代理強化學習,以及演化式超參數最佳化。
AgileRL 是什麼?
完整的LLM後訓練堆疊,加上適用於任何問題的強化學習。內建SFT、DPO與多輪代理強化學習,以及演化式超參數最佳化。
AgileRL 概覽
這是什麼
AgileRL 是一個開源函式庫,提供大型語言模型(LLM)的完整後訓練堆疊,以及經典強化學習(RL)演算法。它內建演化式超參數最佳化(HPO),支援從監督式微調、偏好微調到多回合代理強化學習的訓練。該函式庫也涵蓋單一代理、多代理、離線與情境式 bandit 問題的經典深度 RL。採用 Apache-2.0 授權,並在 GitHub 上公開。
主要功能
- 完整的 LLM 後訓練流程:SFT、DPO,以及 GRPO、CISPO、GSPO、REINFORCE 或 PPO 的 RL。
- 多回合代理強化學習:可在任何 OpenEnv 環境、資料集加獎勵函數或遠端環境伺服器上訓練。
- 支援 LoRA 與 QLoRA 以節省記憶體的微調。
- 原生的 Torch 平行化:資料平行或 FSDP2 分片,透過
torchrun啟動。 - 記憶體最佳化:包含分塊融合對數機率、激活檢查點與卸載、最佳化器狀態或參數的 CPU 卸載,以及滾動期間的訓練器卸載。
- 針對密集、MoE 與混合 Mamba 模型的特定最佳化(例如每個專家的 MoE LoRA、Nemotron-H 的融合核心)。
- 使用 vLLM 生成快速滾動,可選擇將訓練器與 vLLM 共置於單一 GPU。
- 針對 LLM 的演化式 HPO:學習率、KL 懲罰等超參數在訓練過程中自行調整。
- 代理友善的 CLI:訓練執行由單一 YAML 清單與一個指令定義。
- 在 Arena(受管 GPU 叢集)上進行非同步大規模訓練,支援高達 120B 參數的模型。
- 部署與對話:在 Arena 上部署最佳檢查點,並透過 CLI 互動。
- 經典 RL 演算法(同策略、異策略、離線、多代理、情境式 bandit)皆內建演化式 HPO。
使用情境
- 開放權重 LLM 的後訓練:從 SFT 與 DPO 到多回合代理強化學習。
- 訓練與部署 RL 代理:用於單一代理任務(例如 Gymnasium 環境)、多代理任務(例如 PettingZoo)、離線 RL 與情境式 bandit。
- 在受管 GPU 叢集(Arena)上將 LLM 後訓練擴展至大型模型(高達 120B)。
- 使用基於群體的演化式 HPO 快速調整超參數,無需單獨的試驗回合。
快速開始
bash pip install agilerl # 經典 RL + Arena CLI pip install agilerl[llm] # LLM 後訓練 若要使用 main 分支的最新開發版本:pip install git+https://github.com/AgileRL/AgileRL.git@main。若要進行開發模式:複製儲存庫並執行 pip install -e .。
授權與價格
授權:Apache-2.0。價格:開源(未說明費用)。
內容整理自該專案公開的 README 與儲存庫資訊。