zero-to-sglang
官方 SGLang x Datawhale 課程，關於 LLM 推論：了解推論、從頭建立一個迷你 sglang，然後閱讀真正的 SGLang 原始碼並完成你的第一個 PR。
zero-to-sglang 是什麼？
官方 SGLang x Datawhale 課程，關於 LLM 推論：了解推論、從頭建立一個迷你 sglang，然後閱讀真正的 SGLang 原始碼並完成你的第一個 PR。提供英文和中文版本。
zero-to-sglang 概覽
這是什麼
zero-to-sglang 是由 Datawhale 與 RadixArk（SGLang 團隊創立的公司）共同推出的官方課程。這是一份關於 LLM 推論的實作教學，內容涵蓋理解推論概念、從零打造 mini-sglang、閱讀真實 SGLang 原始碼，以及提交第一個 Pull Request。課程提供英文與繁體中文版本，目前仍在開發中。程式碼倉庫位於 https://github.com/datawhalechina/zero-to-sglang，首頁為 https://datawhalechina.github.io/zero-to-sglang。
主要功能
- 涵蓋推論基礎：KV Cache、prefill/decode、計算密集型 vs 記憶體密集型、Roofline 模型。
- 引導從零打造 mini-sglang，逐步加入前向傳播、生成、KV Cache、HTTP 服務、Continuous Batching、Paged KV Cache 與 RadixAttention。
- 說明真實 SGLang 中 RadixAttention、Paged KV Cache 與 Continuous Batching 等最佳化的實作方式。
- 觸及進階主題：量化、分層快取、DP Attention / EP / PP、Prefill-Decode 分離。
- 包含效能剖析、追蹤分析以及完整的 SGLang PR 工作流程，協助參與開源貢獻。
使用情境
本課程適合想深入理解 LLM 推論引擎的開發者。使用者需具備基本的 Python 與深度學習知識，並希望從概念理解進展到實際程式碼。可用於個人學習推論引擎設計、團隊 onboarding SGLang 新貢獻者，或任何對開源推論框架有興趣的人。
快速開始
bashgit clone https://github.com/datawhalechina/zero-to-sglang.gitcd zero-to-sglang# 根據各章節需求安裝相依套件
授權與價格
提供的 metadata 與 README 中未標明授權條款。該專案分類為開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。
