EasyR1
EasyR1:一個基於 veRL 的高效能、可擴展、多模態強化學習訓練框架
EasyR1 是什麼?
EasyR1:一個基於 veRL 的高效能、可擴展、多模態強化學習訓練框架
EasyR1 概覽
這是什麼
EasyR1 是一個基於 veRL 的高效率、可擴展的多模態強化學習訓練框架。它是原始 veRL 專案的一個乾淨分支,旨在支援視覺語言模型。該框架的設計得益於 HybirdEngine 的架構以及最新版 vLLM 的 SPMD 模式,從而實現高效能與可擴展性。
主要功能
- 支援的模型包括 Llama3、Qwen2、Qwen2.5、Qwen3 語言模型,Qwen2-VL、Qwen2.5-VL、Qwen3-VL 視覺語言模型,以及 DeepSeek-R1 蒸餾模型。
- 支援的演算法包括 GRPO、DAPO、Reinforce++、ReMax、RLOO、GSPO 和 CISPO。
- 支援任何特定格式的文字或圖文資料集。
- 支援的技巧包括無填充訓練、LoRA 訓練、從最新或最佳檢查點恢復訓練,以及使用 Wandb、SwanLab、Mlflow 和 Tensorboard 進行追蹤。
- 提供 Dockerfile 和預建 Docker 映像檔,方便環境設定。
使用情境
EasyR1 可用於語言模型和視覺語言模型的強化學習訓練,適用於文字和圖文資料集。它適合數學推理(例如 Geometry3K 資料集)、計數問題(例如 CLEVR-70k-Counting)和 GeoQA 問題等任務。該框架也支援超過 70B 參數模型的多節點訓練。
快速開始
bashgit clone https://github.com/hiyouga/EasyR1.gitcd EasyR1pip install -e .若使用 Docker 環境:bashdocker pull hiyouga/verl:ngc-th2.8.0-cu12.9-vllm0.11.0docker run -it --ipc=host --gpus=all hiyouga/verl:ngc-th2.8.0-cu12.9-vllm0.11.0
授權與價格
本專案採用 Apache-2.0 授權。為開源軟體,未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。