Study-Reinforcement-Learning

RL 學習指南 — 從基礎到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。手寫 CS294 筆記、34 份講義草稿、9 個已測試練習、citatio

Study-Reinforcement-Learning 是什麼?

RL 學習指南 — 從基礎到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。手寫 CS294 筆記、34 份講義草稿、9 個已測試練習、可解析的引用。

Study-Reinforcement-Learning 概覽

這是什麼

Study-Reinforcement-Learning 是一個個人學習倉庫,作為學習強化學習(RL)及其在語言模型訓練中應用的指南。內容涵蓋從馬可夫決策過程和策略梯度到 RLHF、DPO、GRPO、RLVR、代理強化學習和離線強化學習。倉庫包含 2017 年柏克萊 CS 294 課程的手寫筆記、34 份講義草稿、9 個經過測試的程式練習,以及精選的外部參考資料。這是一個學習材料集合,而非函式庫。

主要功能

  • 來自 CS 294 Deep RL(柏克萊,2017 春季,Levine、Schulman、Finn 授課)的手寫學生筆記,保持原始樣貌。
  • 34 堂講義系列(未審閱,請持保留態度),涵蓋從 MDP 到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。
  • 九個小型程式練習,附有 pytest 測試和參考解答,經驗證可執行。主題包括價值迭代、REINFORCE、Q-learning、actor-critic、PPO、Bradley-Terry 獎勵模型、DPO、GRPO 和 RND 探索。
  • 精選外部連結:演講(Pineau、Abbeel)、書籍(Sutton & Barto、Szepesvári)、課程(David Silver、CS285、Hugging Face Deep RL Course、Spinning Up)。
  • 工具:arxiv-collector(擷取 arXiv 論文)、lit-builder(ICLR/NeurIPS/ICML 篩選,含關鍵字過濾和 LLM 評分)、content-pipeline(從論文草擬部落格文章)。
  • 網站 rl.yad.codes 提供講義、練習、筆記,以及一個可在瀏覽器中觀察學習過程的 Q-learning 代理。

使用情境

  • 強化學習新手:從 README 中列出的演講、書籍和課程開始(Pineau 的入門、Sutton & Barto、David Silver 的 UCL 課程或 CS285)。
  • 想要動手練習:完成 exercises/ 目錄中的九個程式練習。它們已經過測試且可執行。
  • 對現代 LLM 強化學習感興趣:閱讀 notes/lectures/ 中的 34 堂講義系列,涵蓋 RLHF、DPO、GRPO、RLVR、代理和離線 RL。請對照引用論文驗證其中的主張。
  • 使用 Claude Code 或 Codex 工作:先閱讀 AGENTS.md 了解倉庫組織與工作流程。

快速開始

請參閱倉庫 README 以取得開始使用的指引。它建議強化學習新手從演講/書籍/課程開始,想動手練習則進行練習,對現代 LLM RL 有興趣則閱讀講義系列。

授權與價格

授權條款未明確說明(NOASSERTION)。此倉庫為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/0bserver07study-reinforcement-learning.svg)](https://yunodb.com/tools/0bserver07study-reinforcement-learning?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/0bserver07study-reinforcement-learning?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/0bserver07study-reinforcement-learning.svg" alt="Featured on YunoDB" height="20"></a>