tiny-llm
學習在 Apple Silicon 上為系統工程師打造的 LLM 推論系統:建立一個微型 vLLM + Qwen
tiny-llm 是什麼?
學習在 Apple Silicon 上為系統工程師打造的 LLM 推論系統:建立一個微型 vLLM + Qwen
tiny-llm 概覽
這是什麼
tiny-llm 是一門為系統工程師設計的實作課程,旨在從頭到尾理解 LLM 推論。它建構了載入 Qwen3 模型、將 token 轉換為 logits 並產生文字的路徑。課程基於 MLX 陣列與 MLX 擴充執行環境,不使用高階神經網路層。當章節教授某個運算子時,學生需以 Python、C++ 或 Metal 實作該運算子,而非呼叫對應的最佳化 MLX 操作。MLX 仍作為正確性驗證與效能基準。
主要功能
- 遵循為期四週的學習路徑:第一週從陣列操作建構 Qwen3 模型;第二週加入快取、量化與融合原語;第三週建構迷你 vLLM,包含連續批次處理與分頁 KV 快取;第四週建構編碼代理。
- 以 Apple Silicon 為目標平台,提供實用的本地環境,具備單一共享記憶體空間與 Metal 核心的直接存取。
- 使用 Qwen3-4B,其規模足以展現真實的權重頻寬、注意力與快取成本,同時又小到能在本地反覆迭代。
- 課程發布於 skyzh.github.io/tiny-llm。
tiny_llm套件為學生實作練習之處;tiny_llm_ref包含參考解答。- 社群移植:amagilabs/tiny-llm-cuda 是參考解答核心的非官方 CUDA(NVIDIA GPU)後端。
使用情境
- 想從頭到尾理解 LLM 推論的系統工程師。
- 學習在 Apple Silicon 上建構 LLM 服務系統。
- 理解注意力機制、KV 快取、連續批次處理、分頁注意力與代理迴圈等概念。
快速開始
請參閱儲存庫 README。課程發布於 skyzh.github.io/tiny-llm。若要驗證現有簽出,請執行:bashpdm install -vpdm run check-installationpdm run test-refsol -- -- -k week_1
授權與價格
授權:Apache-2.0。價格:開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。