verl-agent
verl-agent 是 veRL 的擴展，專為透過強化學習訓練 LLM/VLM 代理而設計。verl-agent 也是論文「Group-in-Group Policy Optimizat for LLM Agent Training」的官方程式碼。
verl-agent 是什麼？
verl-agent 是 veRL 的擴展，專為透過強化學習訓練 LLM/VLM 代理而設計。verl-agent 也是論文「Group-in-Group Policy Optimization for LLM Agent Training」的官方程式碼。
verl-agent 概覽
這是什麼
verl-agent 是 veRL 的擴充套件，專門設計用於透過強化學習（RL）訓練大型語言模型（LLM）代理。它是論文「Group-in-Group Policy Optimization for LLM Agent Training」（GiGPO）的官方程式碼，該論文已被 NeurIPS 2025 接受。此框架提出了一種步驟獨立的多次互動機制，允許完全自訂每個步驟的輸入結構、歷史記錄管理和記憶體模組，使其能夠擴展到長時域、多次互動的 RL 訓練（例如 ALFWorld 中需要多達 50 個步驟的任務）。
主要功能
- 支援多次代理-環境互動，並在每個步驟後提供環境回饋 - 完全可自訂的記憶體模組和每個步驟的輸入結構（無需串接完整歷史） - 可擴展至極長時域最佳化（上下文長度在多次互動中幾乎保持不變） - 平行化的 Gym 風格環境與群組環境（群組內所有環境在重置時共享相同的初始狀態） - 支援多種模型：Qwen3、Qwen3-VL、Qwen2.5、Qwen2.5-VL、LLaMA3.2 等 - 支援 LoRA 微調（7B 模型可在 2 張 H100 GPU 上訓練） - 支援視覺語言代理，可進行多模態推理 - 豐富的環境套件：ALFWorld、WebShop、Search（工具呼叫）、Sokoban、Gym Cards、AppWorld（實驗性） - 多樣化的 RL 演算法：GiGPO、GRPO、PPO、DAPO、GSPO、RLOO、REINFORCE++，並支援動態取樣與 clip-higher 變體
使用情境
- 針對長時域互動任務（如具身 AI、網頁導航、工具呼叫）訓練 LLM/VLM 代理 - 使用可自訂記憶體與輸入結構進行多次互動強化學習 - 開發視覺與文字基礎的推理代理 - 研究基於群組的 RL 演算法（如 GiGPO、GRPO、DAPO）
快速開始
請參閱儲存庫的 README 以取得安裝說明和執行範例。
授權與價格
授權為 Apache-2.0。此專案為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。
