AgileRL

完整的LLM後訓練堆疊,加上適用於任何問題的強化學習。內建SFT、DPO與多輪代理強化學習,以及演化式超參數最佳化。

AgileRL 是什麼?

完整的LLM後訓練堆疊,加上適用於任何問題的強化學習。內建SFT、DPO與多輪代理強化學習,以及演化式超參數最佳化。

AgileRL 概覽

這是什麼

AgileRL 是一個開源函式庫,提供大型語言模型(LLM)的完整後訓練堆疊,以及經典強化學習(RL)演算法。它內建演化式超參數最佳化(HPO),支援從監督式微調、偏好微調到多回合代理強化學習的訓練。該函式庫也涵蓋單一代理、多代理、離線與情境式 bandit 問題的經典深度 RL。採用 Apache-2.0 授權,並在 GitHub 上公開。

主要功能

  • 完整的 LLM 後訓練流程:SFT、DPO,以及 GRPO、CISPO、GSPO、REINFORCE 或 PPO 的 RL。
  • 多回合代理強化學習:可在任何 OpenEnv 環境、資料集加獎勵函數或遠端環境伺服器上訓練。
  • 支援 LoRA 與 QLoRA 以節省記憶體的微調。
  • 原生的 Torch 平行化:資料平行或 FSDP2 分片,透過 torchrun 啟動。
  • 記憶體最佳化:包含分塊融合對數機率、激活檢查點與卸載、最佳化器狀態或參數的 CPU 卸載,以及滾動期間的訓練器卸載。
  • 針對密集、MoE 與混合 Mamba 模型的特定最佳化(例如每個專家的 MoE LoRA、Nemotron-H 的融合核心)。
  • 使用 vLLM 生成快速滾動,可選擇將訓練器與 vLLM 共置於單一 GPU。
  • 針對 LLM 的演化式 HPO:學習率、KL 懲罰等超參數在訓練過程中自行調整。
  • 代理友善的 CLI:訓練執行由單一 YAML 清單與一個指令定義。
  • 在 Arena(受管 GPU 叢集)上進行非同步大規模訓練,支援高達 120B 參數的模型。
  • 部署與對話:在 Arena 上部署最佳檢查點,並透過 CLI 互動。
  • 經典 RL 演算法(同策略、異策略、離線、多代理、情境式 bandit)皆內建演化式 HPO。

使用情境

  • 開放權重 LLM 的後訓練:從 SFT 與 DPO 到多回合代理強化學習。
  • 訓練與部署 RL 代理:用於單一代理任務(例如 Gymnasium 環境)、多代理任務(例如 PettingZoo)、離線 RL 與情境式 bandit。
  • 在受管 GPU 叢集(Arena)上將 LLM 後訓練擴展至大型模型(高達 120B)。
  • 使用基於群體的演化式 HPO 快速調整超參數,無需單獨的試驗回合。

快速開始

bash pip install agilerl # 經典 RL + Arena CLI pip install agilerl[llm] # LLM 後訓練 若要使用 main 分支的最新開發版本:pip install git+https://github.com/AgileRL/AgileRL.git@main。若要進行開發模式:複製儲存庫並執行 pip install -e .。

授權與價格

授權:Apache-2.0。價格:開源(未說明費用)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/agilerlagilerl.svg)](https://yunodb.com/tools/agilerlagilerl?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/agilerlagilerl?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/agilerlagilerl.svg" alt="Featured on YunoDB" height="20"></a>