Rapid-MLX

Rapid-MLX 是一款開放原始碼(Apache 2.0)、相容 OpenAI 與 Anthropic 的 LLM 推論伺服器及 Mac 應用程式,專為 Apple Silicon 設計,以 MLX 為基礎,專注於可靠的工具呼叫功能,適用於程式設計代理。

Rapid-MLX 是什麼?

Rapid-MLX 是一款開放原始碼(Apache 2.0)的 LLM 推論伺服器及 Mac 應用程式,專為 Apple Silicon 設計,以 MLX 為基礎,相容 OpenAI 與 Anthropic 格式,著重提供可靠的工具呼叫功能,適用於程式設計代理。發佈版本經由 Claude Code、Codex CLI、Aider、Hermes 及 DeepSeek Harness 閘控。

Rapid-MLX 概覽

這是什麼

Rapid-MLX 是一個開放原始碼(Apache 2.0)且相容 OpenAI 與 Anthropic 的 LLM 推論伺服器與 Mac 應用程式,專為 Apple Silicon 設計,建構於 MLX 之上,專注於為程式碼代理提供可靠的工具呼叫。該專案在釋出前會通過 Claude Code、Codex CLI、Aider、Hermes 與 DeepSeek Harness 的端到端測試。

主要功能

  • 提供 OpenAI 相容(/v1/chat/completions、/v1/responses)與 Anthropic Messages(/v1/messages)API 端點 - 在測試模型(如 Qwen3.5-9B、Qwen3.8-27B、Qwen3.6-35B)上,解碼速度比 Apple 的 MLX(mlx-lm)快達 4 倍,且優於 oMLX 與 LM Studio - 內建 27 個工具呼叫解析模組,包含自動偵測備援機制 - 支援連續批次處理以處理並行請求 - 記憶體中的 Radix 前綴快取,可持久化至磁碟,並搭配量化 KV 快取 - 提供 macOS 桌面應用程式,可用於聊天、模型管理、視覺、檔案、語音與圖片生成 - 提供命令列工具與伺服器,支援 Homebrew 安裝與引導式安裝程式

使用情境

  • 為程式碼代理(如 Claude Code、Codex CLI、Aider 等)提供本機 LLM 推論 - 透過 OpenAI/Anthropic 相容端點,為其他應用程式提供聊天與模型服務 - 社群基準測試,分享標準化的效能結果

快速開始

bash # 透過 Homebrew 安裝 brew install rapid-mlx # 或使用引導式安裝程式 curl -fsSL https://rapidmlx.com/install.sh | bash # 快速開始:與模型聊天 rapid-mlx chat # 為其他應用程式提供模型服務 rapid-mlx serve qwen3.5-4b-4bit # 連接程式碼代理(例如 Claude Code) rapid-mlx launch claude-code

授權與價格

採用 Apache 2.0 授權。此專案為開放原始碼且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/raullenchairapid-mlx.svg)](https://yunodb.com/tools/raullenchairapid-mlx?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/raullenchairapid-mlx?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/raullenchairapid-mlx.svg" alt="Featured on YunoDB" height="20"></a>