vllm-mlx

高效能、與 OpenAI 和 Anthropic 相容的 LLM 推理伺服器，專為 Apple Silicon 設計。搭載原生 MLX、連續批次處理、多模態模型、MCP 工具呼叫及 Claude Code 支援。

vllm-mlx 是什麼？

高效能、與 OpenAI 和 Anthropic 相容的 LLM 推理伺服器，專為 Apple Silicon 設計。搭載原生 MLX、連續批次處理、多模態模型、MCP 工具呼叫及 Claude Code 支援。