mlx-serve
專為 Apple Silicon 打造的原生 LLM 推理伺服器。相容 OpenAI + Anthropic API。無需 Python。Zig 後端,Swift 前端 macOS 應用程式,支援聊天、音樂、語音與影片生成。
mlx-serve 是什麼?
原生 LLM 推理伺服器,專為 Apple Silicon 打造。相容 OpenAI 與 Anthropic API。無需 Python。採用 Zig 後端與 Swift 前端 macOS 應用程式,支援聊天、音樂、語音及影片生成。
mlx-serve 概覽
這是什麼
mlx-serve 是一個原生 Zig 伺服器,可在 Apple Silicon 上執行任何 LLM,支援 MLX 格式模型與 HuggingFace 上的 GGUF 模型。它在單一埠上提供 OpenAI 相容、Anthropic 相容以及 Ollama API。除了文字,同一伺服器還能原生在 MLX 上生成圖片、影片、音樂、語音(含聲音複製)與 3D 模型。它附帶 MLX Core,一個 macOS 選單列應用程式,提供聊天、代理模式、MCP 工具呼叫與模型管理。執行時不需要 Python。
主要功能
- 支援任何 LLM:所有支援的 MLX 架構,加上透過內嵌 llama.cpp 的完整 GGUF 生態系,包括透過專用引擎的 DeepSeek V4 Flash。
- 單一埠提供四種 API:OpenAI chat/completions 與 Responses(含 WebSocket 傳輸)、Anthropic Messages 以及 Ollama API。
- 媒體生成:圖片、影片、音樂、語音(含聲音複製)與 3D 模型生成,全部原生在 MLX 上。
- 內建 macOS 選單列應用程式,提供聊天、代理模式、MCP 工具呼叫與模型管理。
- 效能最佳化:推測解碼(PLD、drafter、原生 MTP)、自訂 Metal 核心、連續批次處理、KV 快取量化、前綴與 tokenize 快取。
- 可與程式碼代理協作:Claude Code、pi、OpenCode 等,從應用程式或終端機一鍵啟動。
- LAN 模型共享:透過 Bonjour 零設定使用另一台 Mac 的模型。
使用情境
- 在 Apple Silicon 上本地執行任何 LLM 進行推論、聊天或 API 存取。
- 將本地模型與支援 OpenAI、Anthropic 或 Ollama API 的程式碼代理和編輯器搭配使用。
- 從單一伺服器生成圖片、影片、音樂、語音與 3D 模型。
- 在區域網路的多台 Mac 之間共享模型,無需手動設定。
快速開始
需要 macOS 26.2+ 與 Apple Silicon。透過 Homebrew 安裝:bashbrew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-servebrew trust ddalcu/mlx-servebrew install --cask mlx-serve # 應用程式(建議)brew install mlx-serve # 僅 CLI + 伺服器,無圖形介面或直接使用終端機:bashmlx-serve run gemma4 # 下載並提供 Gemma 4,在終端機中聊天mlx-serve pull qwen3.6:27b # 下載模型mlx-serve serve # 提供所有已下載的模型對於 Linux(NVIDIA),從發行版下載對應的 tarball 並執行 zig-out/bin/mlx-serve。建置說明請參閱儲存庫 README。
授權與價格
授權:MIT。價格:開放原始碼。
內容整理自該專案公開的 README 與儲存庫資訊。