reasoning-from-scratch
從零開始逐步在 PyTorch 中實作推理型大型語言模型
reasoning-from-scratch 是什麼?
從零開始逐步在 PyTorch 中實作推理型大型語言模型。品牌名稱、URL、技術術語及事實含義保持不變。
reasoning-from-scratch 概覽
這是什麼
此儲存庫包含 Sebastian Raschka 所著《從零開始建立推理模型》(Build a Reasoning Model (From Scratch)) 一書的官方程式碼。它提供了一個在 PyTorch 中逐步實作推理大型語言模型 (LLM) 的實作指南,從預訓練的基礎 LLM 開始,透過程式碼逐步加入推理能力。所使用的方法與 DeepSeek R1、GPT-5 Thinking 等大規模推理模型採用的方法類似。
主要功能
- 逐步程式碼,為預訓練的基礎 LLM 加入推理能力
- 涵蓋推理時擴展、自我改進、強化學習 (GRPO) 與蒸餾
- 包含載入現有預訓練模型權重的程式碼
- 多數章節設計為可在消費級硬體上執行;第 5 章與第 6 章建議使用 GPU
- 每個章節資料夾提供練習題解答與額外材料
- 為《從零開始建立大型語言模型》(Build a Large Language Model (From Scratch)) 的配套書籍
使用情境
- 透過實作學習推理 LLM 的運作原理
- 教育用途的小型但功能完整的推理模型開發
- 理解推理時擴展、強化學習與蒸餾技術
- 評估與改善 LLM 的推理效能
快速開始
在終端機中執行以下指令以下載此儲存庫:bashgit clone --depth 1 https://github.com/rasbt/reasoning-from-scratch.git本書第 2 章提供關於安裝 Python、管理 Python 套件及設定開發環境的額外建議。
授權與價格
此專案採用 Apache-2.0 授權。該書由 Manning 出版,ISBN 為 9781633434677。
內容整理自該專案公開的 README 與儲存庫資訊。