llama-modchip
在 64GB CPU(0 張 GPU)上執行 284B DeepSeek-V4-Flash(<59GiB RAM:41.1 冷啟動 pp,9.1 N=1 tg,最高 25.3 spec tok/s)與 30B MoEs(22.4 N=1 / 111.6 spec tok/s)。
llama-modchip 是什麼?
在 64GB CPU(0 張 GPU)上執行 284B DeepSeek-V4-Flash(<59GiB RAM:41.1 冷啟動 pp,9.1 N=1 tg,最高 25.3 spec tok/s)與 30B MoEs(22.4 N=1 / 111.6 spec tok/s)。
llama-modchip 概覽
這是什麼
llama-modchip 是一個軟體專案,提供針對大型混合專家(MoE)模型的向量與二元 CPU 推論,特別針對 284B 與 30B 參數模型。它引入了兩種區塊 64 量化格式:Fractal-64 與 LUT-VQ3-64,專為單指令 SIMD 暫存器查表而設計。該專案能在純 64GB CPU 系統上以 256K 上下文執行 DeepSeek-V4-Flash 284B 等模型,無需任何 GPU。採用 Apache-2.0 授權,為開源軟體。
主要功能
- Fractal-64(GGML_TYPE_Q2_0 = 42)量化,3.75 bpw,每 64 個權重使用 30 位元組,相較 BF16 達到 17.75 dB SQNR 與 99.15% 餘弦相似度。
- LUT-VQ3-64(GGML_TYPE_VQ3_0 = 43)量化,3.00 bpw,每 64 個權重使用 24 位元組,相較 BF16 達到 13.57 dB SQNR 與 97.78% 餘弦相似度。
- 混合量化:邊界層與殘差輸出投影使用 Fractal-64,內部擴展投影使用 LUT-VQ3-64,相較 Q4_0 減少 up_exps 佔用空間 33.3%。
- 快取感知 KV 管理(HARP-Cache)、/dev/shm Slot-0 前綴快照,以及 RouteCrack + Stockfish-PVS v2 推測解碼。
- 在 Linux 上,40 工具 Claude Code 前綴(2,776 個 token)的 /dev/shm Slot-0 還原時間低於 20 毫秒(10.4 毫秒)。
- 跨平台原生支援:Linux、macOS Metal(Apple Silicon)與 Windows 11(MinGW-w64 UCRT64)。
使用情境
在僅有 CPU 且記憶體有限的系統上執行大型 MoE 模型(284B 與 30B),例如 64GB 記憶體執行 284B 模型、16GB 記憶體執行 30B 模型。適用於開發者筆電、迷你電腦、桌上型電腦與工作站。可執行代理工具呼叫、可執行程式碼生成與長上下文針刺測試,並與 BF16 基準達到驗證的品質等同。
快速開始
請參閱儲存庫的 README 以取得安裝與快速開始說明。
授權與價格
授權:Apache-2.0。價格:開源(未說明為付費)。
內容整理自該專案公開的 README 與儲存庫資訊。