train-llm-from-scratch
訓練你的LLM的直觀方法,從下載資料到生成文字。
train-llm-from-scratch 是什麼?
訓練你的LLM的直觀方法,從下載資料到生成文字。。注意:原文summary與tagline相同,但翻譯時應保持一致。
train-llm-from-scratch 概覽
這是什麼
一個使用 PyTorch 從頭訓練大型語言模型(LLM)的方法,基於論文《Attention is All You Need》。該專案涵蓋從下載原始文字到生成文字的全部流程,包括預訓練和後訓練階段,例如監督式微調(SFT)、獎勵模型訓練、PPO、DPO 和 GRPO。所有演算法均以純 PyTorch 實作,不依賴 trl、peft 或 transformers 等外部函式庫。儲存庫提供的腳本可以在單一 GPU 上訓練數十億參數的模型,或在筆記型電腦 CPU 上訓練小型模型。
主要功能
- 使用 PyTorch 從頭實作 transformer 模型,包括原始架構以及現代版本(具備旋轉位置編碼、RMSNorm、SwiGLU、分組查詢與潛在注意力、混合專家模型和 KV 快取)。
- 手寫訓練演算法:Muon 最佳化器、LoRA、IPO、SimPO、Dr. GRPO、DAPO、GSPO、推測解碼和 int8 權重量化。
- 涵蓋完整訓練流程:原始文字 → 詞元 → transformer → 下一個詞元損失 → 基礎模型 → SFT → 獎勵模型 → {PPO, DPO} → GRPO → 評估與對話。
- 支援在單一 GPU 或筆記型電腦 CPU 上訓練(小型模型)。
- 提供兩種設定系統:用於舊版預訓練的簡單 Python 常數檔案,以及用於所有其他階段的 JSON 設定檔(支援命令列覆寫)。
- 包含資料準備、訓練、文字生成、評估的腳本,以及一個 Streamlit 控制面板。
使用情境
- 學習 transformer 運作原理及如何從頭實作的學生。
- 想要在不依賴高階函式庫的情況下,使用自己的資料訓練自訂 LLM 的開發者。
- 在小型 transformer 上實驗 DPO、PPO 和 GRPO 等後訓練技術的研究人員。
- 任何想在筆記型電腦上訓練小型語言模型以進行教育或原型開發的人。
快速開始
先備知識:具備物件導向程式設計、神經網路和 PyTorch 的基本理解。 複製儲存庫並以可編輯模式安裝: bash git clone https://github.com/FareedKhan-dev/train-llm-from-scratch.git cd train-llm-from-scratch pip install -e . 可選附加套件:pip install -e .[train](資料集與 wandb)、pip install -e .[ui](Streamlit)、pip install -e .[docs](文件)、pip install -e .[all](全部)。 在筆記型電腦 CPU 上訓練小型模型(無需 GPU): bash python scripts/prepare_tiny_data.py python scripts/train_transformer.py --preset tiny --arch modern python scripts/generate_text.py --model_path models/tiny.pt
授權與價格
本專案採用 MIT 授權條款,為開放原始碼(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。