SwiftLM

⚡ 專為 Apple Silicon 打造的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 SSD 串流處理 100B+ MoE 模型、TurboQuant KV 快取壓縮、MACOS +

SwiftLM 是什麼?

⚡ 專為 Apple Silicon 打造的原生 MLX Swift LLM 推論伺服器。相容 OpenAI API、支援 SSD 串流處理 100B+ MoE 模型、TurboQuant KV 快取壓縮、MACOS + iOS iPhone 應用程式。

SwiftLM 概覽

這是什麼

SwiftLM 是一個原生 Swift 推理伺服器,提供與 OpenAI 相容的 API,用於服務 MLX 模型。它專為 Apple Silicon 設計,編譯為單一二進位檔,沒有 Python 執行環境、沒有全域直譯器鎖(GIL)、也沒有不必要的記憶體複製。該伺服器支援大型混合專家(MoE)模型的 SSD 串流,以及 TurboQuant KV 快取壓縮。

主要功能

  • 與 OpenAI 相容的 API 端點 - 支援 100B+ MoE 模型的 SSD 串流(透過 --stream-experts 旗標) - TurboQuant KV 快取壓縮 - 原生 Swift,無 Python 執行環境,單一二進位檔 - 針對 Apple Silicon 的 Metal 核心編譯 - 提示快取支援 - 提供 macOS arm64 預編譯二進位檔

使用情境

  • 在 Apple Silicon 硬體上執行大型語言模型,特別是受益於 SSD 串流的 MoE 模型 - 提供與 OpenAI 相容 API 的本機或邊緣推理伺服器 - 在 macOS(例如 Mac mini M6)上測試和基準測試 MLX 模型

快速開始

下載預編譯二進位檔並執行: bash tar -xzf SwiftLM--macos-arm64.tar.gz ./SwiftLM --model mlx-community/Qwen2.5-3B-Instruct-4bit --port 5413 或從原始碼建置: bash git clone --recursive https://github.com/SharpAI/SwiftLM cd SwiftLM ./build.sh .build/release/SwiftLM --model mlx-community/gemma-4-26b-a4b-it-4bit --port 5413 (對於超大型 MoE 模型,請加上 --stream-experts 以從 NVMe SSD 串流專家層。)

授權與價格

本專案為開放原始碼,採用 MIT 授權條款。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/sharpaiswiftlm.svg)](https://yunodb.com/tools/sharpaiswiftlm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/sharpaiswiftlm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/sharpaiswiftlm.svg" alt="Featured on YunoDB" height="20"></a>