OpenRLHF

一個易於使用、可擴展且高效能的基於Ray的Agentic RL框架 (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

OpenRLHF 是什麼?

一個易於使用、可擴展且高效能的基於Ray的Agentic RL框架 (PPO & DAPO & REINFORCE++ & VLM & TIS & vLLM & Ray & Async RL)

OpenRLHF 概覽

這是什麼

OpenRLHF 是一個基於強化學習從人類回饋(RLHF)的開源框架。它建立在結合 Ray、vLLM 和 DeepSpeed 的分散式架構上,旨在易於使用、可擴展且高效能,支援基於代理的強化學習訓練,包含 PPO、DAPO、REINFORCE++ 等演算法。採用 Apache-2.0 授權。

主要功能

  • 基於 Ray + vLLM 分散式架構,實現高效排程與高吞吐量推論。
  • 支援統一的代理執行模式,以 token-in-token-out 處理確保單輪與多輪任務的一致性。
  • 包含多種強化學習演算法:PPO、REINFORCE++、GRPO、RLOO 和 FlashREINFORCE。
  • 提供混合引擎排程,讓模型與 vLLM 引擎共享 GPU 資源,減少閒置時間。
  • 使用 DeepSpeed ZeRO-3 進行記憶體高效訓練,並整合 HuggingFace Transformers。
  • 支援視覺語言模型(VLM)的 RLHF 以及多輪 VLM 強化學習,可處理圖片輸入。
  • 透過設定旗標支援非同步 RLHF 訓練與代理 RLHF。

使用情境

OpenRLHF 可用於大型語言模型的標準 RLHF 對齊、使用長時間強化學習(如 REINFORCE++-baseline)訓練推理模型、具有自訂獎勵函數的多輪代理任務,以及涉及圖像的多模態 RLHF。它也適合用於在小型模型上重現 DeepSeek-R1 等研究成果。

快速開始

請參閱儲存庫的 README 以取得安裝與典型工作流程的指令。

授權與價格

OpenRLHF 採用 Apache-2.0 開源授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/openrlhfopenrlhf.svg)](https://yunodb.com/tools/openrlhfopenrlhf?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/openrlhfopenrlhf?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/openrlhfopenrlhf.svg" alt="Featured on YunoDB" height="20"></a>