mlx-serve

專為 Apple Silicon 打造的原生 LLM 推理伺服器。相容 OpenAI + Anthropic API。無需 Python。Zig 後端,Swift 前端 macOS 應用程式,支援聊天、音樂、語音與影片生成。

mlx-serve 是什麼?

原生 LLM 推理伺服器,專為 Apple Silicon 打造。相容 OpenAI 與 Anthropic API。無需 Python。採用 Zig 後端與 Swift 前端 macOS 應用程式,支援聊天、音樂、語音及影片生成。

mlx-serve 概覽

這是什麼

mlx-serve 是一個原生 Zig 伺服器,可在 Apple Silicon 上執行任何 LLM,支援 MLX 格式模型與 HuggingFace 上的 GGUF 模型。它在單一埠上提供 OpenAI 相容、Anthropic 相容以及 Ollama API。除了文字,同一伺服器還能原生在 MLX 上生成圖片、影片、音樂、語音(含聲音複製)與 3D 模型。它附帶 MLX Core,一個 macOS 選單列應用程式,提供聊天、代理模式、MCP 工具呼叫與模型管理。執行時不需要 Python。

主要功能

  • 支援任何 LLM:所有支援的 MLX 架構,加上透過內嵌 llama.cpp 的完整 GGUF 生態系,包括透過專用引擎的 DeepSeek V4 Flash。
  • 單一埠提供四種 API:OpenAI chat/completions 與 Responses(含 WebSocket 傳輸)、Anthropic Messages 以及 Ollama API。
  • 媒體生成:圖片、影片、音樂、語音(含聲音複製)與 3D 模型生成,全部原生在 MLX 上。
  • 內建 macOS 選單列應用程式,提供聊天、代理模式、MCP 工具呼叫與模型管理。
  • 效能最佳化:推測解碼(PLD、drafter、原生 MTP)、自訂 Metal 核心、連續批次處理、KV 快取量化、前綴與 tokenize 快取。
  • 可與程式碼代理協作:Claude Code、pi、OpenCode 等,從應用程式或終端機一鍵啟動。
  • LAN 模型共享:透過 Bonjour 零設定使用另一台 Mac 的模型。

使用情境

  • 在 Apple Silicon 上本地執行任何 LLM 進行推論、聊天或 API 存取。
  • 將本地模型與支援 OpenAI、Anthropic 或 Ollama API 的程式碼代理和編輯器搭配使用。
  • 從單一伺服器生成圖片、影片、音樂、語音與 3D 模型。
  • 在區域網路的多台 Mac 之間共享模型,無需手動設定。

快速開始

需要 macOS 26.2+ 與 Apple Silicon。透過 Homebrew 安裝:bashbrew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-servebrew trust ddalcu/mlx-servebrew install --cask mlx-serve # 應用程式(建議)brew install mlx-serve # 僅 CLI + 伺服器,無圖形介面或直接使用終端機:bashmlx-serve run gemma4 # 下載並提供 Gemma 4,在終端機中聊天mlx-serve pull qwen3.6:27b # 下載模型mlx-serve serve # 提供所有已下載的模型對於 Linux(NVIDIA),從發行版下載對應的 tarball 並執行 zig-out/bin/mlx-serve。建置說明請參閱儲存庫 README。

授權與價格

授權:MIT。價格:開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/ddalcumlx-serve.svg)](https://yunodb.com/tools/ddalcumlx-serve?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/ddalcumlx-serve?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/ddalcumlx-serve.svg" alt="Featured on YunoDB" height="20"></a>