Study-Reinforcement-Learning
RL 學習指南 — 從基礎到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。手寫 CS294 筆記、34 份講義草稿、9 個已測試練習、citatio
Study-Reinforcement-Learning 是什麼?
RL 學習指南 — 從基礎到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。手寫 CS294 筆記、34 份講義草稿、9 個已測試練習、可解析的引用。
Study-Reinforcement-Learning 概覽
這是什麼
Study-Reinforcement-Learning 是一個個人學習倉庫,作為學習強化學習(RL)及其在語言模型訓練中應用的指南。內容涵蓋從馬可夫決策過程和策略梯度到 RLHF、DPO、GRPO、RLVR、代理強化學習和離線強化學習。倉庫包含 2017 年柏克萊 CS 294 課程的手寫筆記、34 份講義草稿、9 個經過測試的程式練習,以及精選的外部參考資料。這是一個學習材料集合,而非函式庫。
主要功能
- 來自 CS 294 Deep RL(柏克萊,2017 春季,Levine、Schulman、Finn 授課)的手寫學生筆記,保持原始樣貌。
- 34 堂講義系列(未審閱,請持保留態度),涵蓋從 MDP 到 RLHF、DPO、GRPO、RLVR、代理 RL 和離線 RL。
- 九個小型程式練習,附有 pytest 測試和參考解答,經驗證可執行。主題包括價值迭代、REINFORCE、Q-learning、actor-critic、PPO、Bradley-Terry 獎勵模型、DPO、GRPO 和 RND 探索。
- 精選外部連結:演講(Pineau、Abbeel)、書籍(Sutton & Barto、Szepesvári)、課程(David Silver、CS285、Hugging Face Deep RL Course、Spinning Up)。
- 工具:arxiv-collector(擷取 arXiv 論文)、lit-builder(ICLR/NeurIPS/ICML 篩選,含關鍵字過濾和 LLM 評分)、content-pipeline(從論文草擬部落格文章)。
- 網站 rl.yad.codes 提供講義、練習、筆記,以及一個可在瀏覽器中觀察學習過程的 Q-learning 代理。
使用情境
- 強化學習新手:從 README 中列出的演講、書籍和課程開始(Pineau 的入門、Sutton & Barto、David Silver 的 UCL 課程或 CS285)。
- 想要動手練習:完成
exercises/目錄中的九個程式練習。它們已經過測試且可執行。 - 對現代 LLM 強化學習感興趣:閱讀
notes/lectures/中的 34 堂講義系列,涵蓋 RLHF、DPO、GRPO、RLVR、代理和離線 RL。請對照引用論文驗證其中的主張。 - 使用 Claude Code 或 Codex 工作:先閱讀
AGENTS.md了解倉庫組織與工作流程。
快速開始
請參閱倉庫 README 以取得開始使用的指引。它建議強化學習新手從演講/書籍/課程開始,想動手練習則進行練習,對現代 LLM RL 有興趣則閱讀講義系列。
授權與價格
授權條款未明確說明(NOASSERTION)。此倉庫為開源。
內容整理自該專案公開的 README 與儲存庫資訊。