rllm

普及化大型語言模型的強化學習

rllm 是什麼?

普及化大型語言模型的強化學習categoriescategories[

rllm 概覽

這是什麼

rLLM 是一個開源框架,用於透過強化學習訓練語言代理。使用者可以帶入任何 harness、在任何沙盒中執行,並透過一個旗標切換訓練後端,相同的代理程式碼同時驅動評估與訓練。

主要功能

  • 支援 10 多種 CLI harness(Claude Code、Codex、Terminus-2、mini-swe-agent、opencode 等)以及 Harbor 相容的任務目錄。使用者可透過 @rllm.rollout 包裝自訂代理。
  • 沙盒選項包括 Docker、Daytona、Modal 或本機執行,並提供快照與暖池加速,以降低訓練規模下的 rollout 成本。
  • 多種訓練後端:verl(分散式多 GPU)、tinker(單機)和 fireworks(Fireworks 平台),可透過一個旗標切換。
  • 整合 60 多個基準測試,涵蓋數學、程式碼、單選題、問答、搜尋、VLM、翻譯與代理任務,包括 Terminal-Bench 2.0、SWE-bench、SkillsBench、AIME、MATH-500 和 GPQA。
  • 多種訓練方法:GRPO、REINFORCE、RLOO、SFT 與同策略蒸餾。
  • 經過實戰驗證,取得最先進的開源成果(DeepScaleR-1.5B、DeepCoder-14B、DeepSWE-32B、FinQA-4B),並被學術實驗室與產業研究團隊採用。

使用情境

rLLM 專為研究人員與開發者設計,用於在任何基準測試上,使用任何代理 harness 與任何沙盒環境,以強化學習訓練語言代理。適用於單回合與多代理任務、長時程終端代理、多模態深度研究與財務分析等應用。

快速開始

rLLM 需要 Python >= 3.11。透過 pip 安裝: bash uv pip install 'rllm @ git+https://github.com/rllm-org/rllm.git' 分散式多 GPU 訓練: bash uv pip install 'rllm[verl] @ git+https://github.com/rllm-org/rllm.git' Fireworks 訓練平台: bash uv pip install 'rllm[fireworks] @ git+https://github.com/rllm-org/rllm.git' CLI 快速入門: bash rllm model setup rllm eval gsm8k rllm train gsm8k Python API 用法請參閱儲存庫 README。

授權與價格

本專案採用 Apache-2.0 授權,為開源軟體。價格未說明,僅知為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/rllm-orgrllm.svg)](https://yunodb.com/tools/rllm-orgrllm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/rllm-orgrllm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/rllm-orgrllm.svg" alt="Featured on YunoDB" height="20"></a>