Rapid-MLX
Rapid-MLX 是一款開放原始碼(Apache 2.0)、相容 OpenAI 與 Anthropic 的 LLM 推論伺服器及 Mac 應用程式,專為 Apple Silicon 設計,以 MLX 為基礎,專注於可靠的工具呼叫功能,適用於程式設計代理。
Rapid-MLX 是什麼?
Rapid-MLX 是一款開放原始碼(Apache 2.0)的 LLM 推論伺服器及 Mac 應用程式,專為 Apple Silicon 設計,以 MLX 為基礎,相容 OpenAI 與 Anthropic 格式,著重提供可靠的工具呼叫功能,適用於程式設計代理。發佈版本經由 Claude Code、Codex CLI、Aider、Hermes 及 DeepSeek Harness 閘控。
Rapid-MLX 概覽
這是什麼
Rapid-MLX 是一個開放原始碼(Apache 2.0)且相容 OpenAI 與 Anthropic 的 LLM 推論伺服器與 Mac 應用程式,專為 Apple Silicon 設計,建構於 MLX 之上,專注於為程式碼代理提供可靠的工具呼叫。該專案在釋出前會通過 Claude Code、Codex CLI、Aider、Hermes 與 DeepSeek Harness 的端到端測試。
主要功能
- 提供 OpenAI 相容(
/v1/chat/completions、/v1/responses)與 Anthropic Messages(/v1/messages)API 端點 - 在測試模型(如 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B)上,解碼速度比 Apple 的 MLX(mlx-lm)快達 4 倍,且優於 oMLX 與 LM Studio - 內建 27 個工具呼叫解析模組,包含自動偵測備援機制 - 支援連續批次處理以處理並行請求 - 記憶體中的 Radix 前綴快取,可持久化至磁碟,並搭配量化 KV 快取 - 提供 macOS 桌面應用程式,可用於聊天、模型管理、視覺、檔案、語音與圖片生成 - 提供命令列工具與伺服器,支援 Homebrew 安裝與引導式安裝程式
使用情境
- 為程式碼代理(如 Claude Code、Codex CLI、Aider 等)提供本機 LLM 推論 - 透過 OpenAI/Anthropic 相容端點,為其他應用程式提供聊天與模型服務 - 社群基準測試,分享標準化的效能結果
快速開始
bash # 透過 Homebrew 安裝 brew install rapid-mlx # 或使用引導式安裝程式 curl -fsSL https://rapidmlx.com/install.sh | bash # 快速開始:與模型聊天 rapid-mlx chat # 為其他應用程式提供模型服務 rapid-mlx serve qwen3.5-4b-4bit # 連接程式碼代理(例如 Claude Code) rapid-mlx launch claude-code
授權與價格
採用 Apache 2.0 授權。此專案為開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。