diy-llm

涵蓋預訓練資料、Tokenizer、Transformer、MoE、分散式訓練、Scaling Laws、推論與對齊。6 項漸進式程式作業,完整學習 LLM 全端知識

diy-llm 是什麼?

涵蓋預訓練資料、Tokenizer、Transformer、MoE、分散式訓練、Scaling Laws、推論與對齊。6 項漸進式程式作業,掌握 LLM 全端知識

diy-llm 概覽

這是什麼

Diy-LLM 是一個由社群驅動的中文教學專案,將從零建構大型語言模型(LLM)的知識體系重新組織。它基於 Stanford CS336: Language Modeling from Scratch(2025 春季與 2026 年課程),但並非直接翻譯。專案涵蓋完整流程:分詞器、資料、訓練、系統優化、推理、對齊、評估與多模態。包含 16 章正文與 6 個漸進式程式作業,全部由人工撰寫與審校,AI 僅輔助翻譯與資料整理。專案為開源,託管於 GitHub 上的 Datawhale 社群。

主要功能

  • 16 章與 6 個作業,涵蓋從分詞器到多模態的完整 LLM 流程。
  • 中文原生重組:補齊背景知識、PyTorch/GPU 基礎,並加入國產模型案例(Qwen、DeepSeek、Qwen-VL)。
  • 每個作業提供可執行的實作,並說明設計決策的思考過程。
  • 支援 CPU 除錯與 MacBook MPS 適配。
  • 納入中文基準(如 C-EVAL)與評估工具(lm-evaluation-harness、evalscope)。
  • 提供可離線閱讀的 PDF 講義。

使用情境

  • 想從零理解並實作 LLM 元件的學習者。
  • 需要結構化中文資源進行預訓練、微調、對齊與評估的開發者。
  • 需要分詞器、Transformer、MoE、分散式訓練與推理最佳化等實作程式碼的研究人員或工程師。

快速開始

bashgit clone https://github.com/datawhalechina/diy-llm.gitcd diy-llm# 根據具體作業需求安裝基礎依賴

授權與價格

提供的後設資料中未說明授權條款。該專案標示為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/datawhalechinadiy-llm.svg)](https://yunodb.com/tools/datawhalechinadiy-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/datawhalechinadiy-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/datawhalechinadiy-llm.svg" alt="Featured on YunoDB" height="20"></a>