tiny-llm

學習在 Apple Silicon 上為系統工程師打造的 LLM 推論系統:建立一個微型 vLLM + Qwen

tiny-llm 是什麼?

學習在 Apple Silicon 上為系統工程師打造的 LLM 推論系統:建立一個微型 vLLM + Qwen

tiny-llm 概覽

這是什麼

tiny-llm 是一門為系統工程師設計的實作課程,旨在從頭到尾理解 LLM 推論。它建構了載入 Qwen3 模型、將 token 轉換為 logits 並產生文字的路徑。課程基於 MLX 陣列與 MLX 擴充執行環境,不使用高階神經網路層。當章節教授某個運算子時,學生需以 Python、C++ 或 Metal 實作該運算子,而非呼叫對應的最佳化 MLX 操作。MLX 仍作為正確性驗證與效能基準。

主要功能

  • 遵循為期四週的學習路徑:第一週從陣列操作建構 Qwen3 模型;第二週加入快取、量化與融合原語;第三週建構迷你 vLLM,包含連續批次處理與分頁 KV 快取;第四週建構編碼代理。
  • 以 Apple Silicon 為目標平台,提供實用的本地環境,具備單一共享記憶體空間與 Metal 核心的直接存取。
  • 使用 Qwen3-4B,其規模足以展現真實的權重頻寬、注意力與快取成本,同時又小到能在本地反覆迭代。
  • 課程發布於 skyzh.github.io/tiny-llm。
  • tiny_llm 套件為學生實作練習之處;tiny_llm_ref 包含參考解答。
  • 社群移植:amagilabs/tiny-llm-cuda 是參考解答核心的非官方 CUDA(NVIDIA GPU)後端。

使用情境

  • 想從頭到尾理解 LLM 推論的系統工程師。
  • 學習在 Apple Silicon 上建構 LLM 服務系統。
  • 理解注意力機制、KV 快取、連續批次處理、分頁注意力與代理迴圈等概念。

快速開始

請參閱儲存庫 README。課程發布於 skyzh.github.io/tiny-llm。若要驗證現有簽出,請執行:bashpdm install -vpdm run check-installationpdm run test-refsol -- -- -k week_1

授權與價格

授權:Apache-2.0。價格:開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/skyzhtiny-llm.svg)](https://yunodb.com/tools/skyzhtiny-llm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/skyzhtiny-llm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/skyzhtiny-llm.svg" alt="Featured on YunoDB" height="20"></a>