hands-on-modern-rl
🚀 開源實作課程,銜接從基礎 RL 概念到 LLM 對齊、RLVR 及高級代理系統的知識斷層。
hands-on-modern-rl 是什麼?
🚀 開源實作課程,銜接從基礎 RL 概念到 LLM 對齊、RLVR 及高級代理系統的知識斷層。
hands-on-modern-rl 概覽
這是什麼
一個開源的實作課程,從基礎強化學習概念銜接到 LLM 對齊、RLVR 與進階代理系統。內容涵蓋馬可夫決策過程、策略最佳化、推理模型、代理系統與多模態系統。
主要功能
- 14 個自包含章節筆記本,搭配 12 個 Studio 輔助工具 - 兩條學習路徑:古典與深度 RL(第 1–12 章)與現代 RL 與代理 AI(第 13–26 章) - 關鍵推導(PPO、DPO、GRPO)與其實作並列 - 真實訓練曲線、消融實驗與失敗訊號,展示演算法行為 - 從古典 RL(CartPole、Atari)進展到語言模型對齊(RLHF、DPO、GRPO) - 將代理 AI 視為序列決策問題(工具使用、瀏覽、程式修復) - 先呈現現象,再引入數學抽象
使用情境
- 從基礎到進階學習強化學習 - 在 CartPole、Atari Pong、LunarLander、BipedalWalker 等經典環境中訓練代理 - 透過 RLHF、DPO、GRPO 與可驗證獎勵將 RL 應用於語言模型 - 建構能呼叫工具、瀏覽網頁、撰寫程式與完成多步驟任務的代理 AI 系統 - 視覺與具身任務、訓練系統與評估
快速開始
請參閱儲存庫 README 以取得安裝與快速開始說明。
授權與價格
授權條款未標明(NOASSERTION)。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。