diy-llm
涵蓋預訓練資料、Tokenizer、Transformer、MoE、分散式訓練、Scaling Laws、推論與對齊。6 項漸進式程式作業,完整學習 LLM 全端知識
diy-llm 是什麼?
涵蓋預訓練資料、Tokenizer、Transformer、MoE、分散式訓練、Scaling Laws、推論與對齊。6 項漸進式程式作業,掌握 LLM 全端知識
diy-llm 概覽
這是什麼
Diy-LLM 是一個由社群驅動的中文教學專案,將從零建構大型語言模型(LLM)的知識體系重新組織。它基於 Stanford CS336: Language Modeling from Scratch(2025 春季與 2026 年課程),但並非直接翻譯。專案涵蓋完整流程:分詞器、資料、訓練、系統優化、推理、對齊、評估與多模態。包含 16 章正文與 6 個漸進式程式作業,全部由人工撰寫與審校,AI 僅輔助翻譯與資料整理。專案為開源,託管於 GitHub 上的 Datawhale 社群。
主要功能
- 16 章與 6 個作業,涵蓋從分詞器到多模態的完整 LLM 流程。
- 中文原生重組:補齊背景知識、PyTorch/GPU 基礎,並加入國產模型案例(Qwen、DeepSeek、Qwen-VL)。
- 每個作業提供可執行的實作,並說明設計決策的思考過程。
- 支援 CPU 除錯與 MacBook MPS 適配。
- 納入中文基準(如 C-EVAL)與評估工具(lm-evaluation-harness、evalscope)。
- 提供可離線閱讀的 PDF 講義。
使用情境
- 想從零理解並實作 LLM 元件的學習者。
- 需要結構化中文資源進行預訓練、微調、對齊與評估的開發者。
- 需要分詞器、Transformer、MoE、分散式訓練與推理最佳化等實作程式碼的研究人員或工程師。
快速開始
bashgit clone https://github.com/datawhalechina/diy-llm.gitcd diy-llm# 根據具體作業需求安裝基礎依賴
授權與價格
提供的後設資料中未說明授權條款。該專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。