mlx-serve

適用於 Apple Silicon 的原生 LLM 推理伺服器。相容 OpenAI 與 Anthropic API。無需 Python。包含 MLX Core macOS 應用程式，支援聊天、代理模式與工具呼叫。

mlx-serve 是什麼？

適用於 Apple Silicon 的原生 LLM 推理伺服器。相容 OpenAI 與 Anthropic API。無需 Python。包含 MLX Core macOS 應用程式，支援聊天、代理模式與工具呼叫。