OpenRLHF
一個易於使用、可擴展且高效能的基於Ray的Agentic RL框架 (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
OpenRLHF 是什麼?
一個易於使用、可擴展且高效能的基於Ray的Agentic RL框架 (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)
OpenRLHF 概覽
這是什麼
OpenRLHF 是一個基於強化學習從人類回饋(RLHF)的開源框架。它建立在結合 Ray、vLLM 和 DeepSpeed 的分散式架構上,旨在易於使用、可擴展且高效能,支援基於代理的強化學習訓練,包含 PPO、DAPO、REINFORCE++ 等演算法。採用 Apache-2.0 授權。
主要功能
- 基於 Ray + vLLM 分散式架構,實現高效排程與高吞吐量推論。
- 支援統一的代理執行模式,以 token-in-token-out 處理確保單輪與多輪任務的一致性。
- 包含多種強化學習演算法:PPO、REINFORCE++、GRPO、RLOO 和 FlashREINFORCE。
- 提供混合引擎排程,讓模型與 vLLM 引擎共享 GPU 資源,減少閒置時間。
- 使用 DeepSpeed ZeRO-3 進行記憶體高效訓練,並整合 HuggingFace Transformers。
- 支援視覺語言模型(VLM)的 RLHF 以及多輪 VLM 強化學習,可處理圖片輸入。
- 透過設定旗標支援非同步 RLHF 訓練與代理 RLHF。
使用情境
OpenRLHF 可用於大型語言模型的標準 RLHF 對齊、使用長時間強化學習(如 REINFORCE++-baseline)訓練推理模型、具有自訂獎勵函數的多輪代理任務,以及涉及圖像的多模態 RLHF。它也適合用於在小型模型上重現 DeepSeek-R1 等研究成果。
快速開始
請參閱儲存庫的 README 以取得安裝與典型工作流程的指令。
授權與價格
OpenRLHF 採用 Apache-2.0 開源授權。
內容整理自該專案公開的 README 與儲存庫資訊。