SwiftLM
⚡ 專為 Apple Silicon 打造的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 SSD 串流處理 100B+ MoE 模型、TurboQuant KV 快取壓縮、MACOS +
SwiftLM 是什麼?
⚡ 專為 Apple Silicon 打造的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 SSD 串流處理 100B+ MoE 模型、TurboQuant KV 快取壓縮、MACOS + iOS iPhone 應用程式。
SwiftLM 概覽
這是什麼
SwiftLM 是一個原生 Swift 推理伺服器,提供與 OpenAI 相容的 API,用於服務 MLX 模型。它專為 Apple Silicon 設計,編譯為單一二進位檔,沒有 Python 執行環境、沒有全域直譯器鎖(GIL)、也沒有不必要的記憶體複製。該伺服器支援大型混合專家(MoE)模型的 SSD 串流,以及 TurboQuant KV 快取壓縮。
主要功能
- 與 OpenAI 相容的 API 端點 - 支援 100B+ MoE 模型的 SSD 串流(透過
--stream-experts旗標) - TurboQuant KV 快取壓縮 - 原生 Swift,無 Python 執行環境,單一二進位檔 - 針對 Apple Silicon 的 Metal 核心編譯 - 提示快取支援 - 提供 macOS arm64 預編譯二進位檔
使用情境
- 在 Apple Silicon 硬體上執行大型語言模型,特別是受益於 SSD 串流的 MoE 模型 - 提供與 OpenAI 相容 API 的本機或邊緣推理伺服器 - 在 macOS(例如 Mac mini M6)上測試和基準測試 MLX 模型
快速開始
下載預編譯二進位檔並執行: bash tar -xzf SwiftLM--macos-arm64.tar.gz ./SwiftLM --model mlx-community/Qwen2.5-3B-Instruct-4bit --port 5413 或從原始碼建置: bash git clone --recursive https://github.com/SharpAI/SwiftLM cd SwiftLM ./build.sh .build/release/SwiftLM --model mlx-community/gemma-4-26b-a4b-it-4bit --port 5413 (對於超大型 MoE 模型,請加上 --stream-experts 以從 NVMe SSD 串流專家層。)
授權與價格
本專案為開放原始碼,採用 MIT 授權條款。
內容整理自該專案公開的 README 與儲存庫資訊。