reasoning-from-scratch

從零開始逐步在 PyTorch 中實作推理型大型語言模型

reasoning-from-scratch 是什麼?

從零開始逐步在 PyTorch 中實作推理型大型語言模型。品牌名稱、URL、技術術語及事實含義保持不變。

reasoning-from-scratch 概覽

這是什麼

此儲存庫包含 Sebastian Raschka 所著《從零開始建立推理模型》(Build a Reasoning Model (From Scratch)) 一書的官方程式碼。它提供了一個在 PyTorch 中逐步實作推理大型語言模型 (LLM) 的實作指南,從預訓練的基礎 LLM 開始,透過程式碼逐步加入推理能力。所使用的方法與 DeepSeek R1、GPT-5 Thinking 等大規模推理模型採用的方法類似。

主要功能

  • 逐步程式碼,為預訓練的基礎 LLM 加入推理能力
  • 涵蓋推理時擴展、自我改進、強化學習 (GRPO) 與蒸餾
  • 包含載入現有預訓練模型權重的程式碼
  • 多數章節設計為可在消費級硬體上執行;第 5 章與第 6 章建議使用 GPU
  • 每個章節資料夾提供練習題解答與額外材料
  • 為《從零開始建立大型語言模型》(Build a Large Language Model (From Scratch)) 的配套書籍

使用情境

  • 透過實作學習推理 LLM 的運作原理
  • 教育用途的小型但功能完整的推理模型開發
  • 理解推理時擴展、強化學習與蒸餾技術
  • 評估與改善 LLM 的推理效能

快速開始

在終端機中執行以下指令以下載此儲存庫:bashgit clone --depth 1 https://github.com/rasbt/reasoning-from-scratch.git本書第 2 章提供關於安裝 Python、管理 Python 套件及設定開發環境的額外建議。

授權與價格

此專案採用 Apache-2.0 授權。該書由 Manning 出版,ISBN 為 9781633434677。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/rasbtreasoning-from-scratch.svg)](https://yunodb.com/tools/rasbtreasoning-from-scratch?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/rasbtreasoning-from-scratch?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/rasbtreasoning-from-scratch.svg" alt="Featured on YunoDB" height="20"></a>