omlx

LLM 推理伺服器具備持續批次處理與 SSD 快取功能,適用於 Apple Silicon,並從 macOS 選單列管理。

omlx 是什麼?

LLM 推理伺服器具備持續批次處理與 SSD 快取功能,適用於 Apple Silicon,並可從 macOS 選單列進行管理。

omlx 概覽

這是什麼

oMLX 是一個專為 Apple Silicon 最佳化的 LLM 推論伺服器,具備連續批次處理與分層 KV 快取(熱 RAM + 冷 SSD),並可從 macOS 選單列管理。伺服器支援文字 LLM、視覺語言模型(VLM)、OCR 模型、嵌入模型與重新排序模型,提供 OpenAI 相容 API 及內建聊天介面。

主要功能

  • 透過 mlx-lm 的 BatchGenerator 實現連續批次處理,可同時處理多個請求。
  • 分層 KV 快取:熱層(RAM)與冷層(SSD);當熱快取滿時,區塊以 safetensors 格式卸載至 SSD,後續請求若前綴匹配則從磁碟還原,即使伺服器重啟也無需重新計算。
  • macOS 選單列管理,附管理儀表板(網頁介面位於 /admin),提供即時監控、模型管理、聊天、基準測試與各模型設定。
  • 支援 Apple Silicon 上的文字 LLM、視覺語言模型(VLM)、OCR 模型、嵌入模型與重新排序模型。
  • 實驗性多 Mac 推論(原始碼建置):透過 MLX pipeline ranks 經由 Ring 或 Thunderbolt RDMA/JACCL 進行,並提供 Prefill Accelerator 功能。
  • 可選的 Affine4 與 Affine8 KV 壓縮,搭配 Metal TensorOps 解碼注意力機制及可攜式備援方案。
  • Claude Code 最佳化:回報模型真實上下文視窗以自動壓縮,並使用 SSE keep-alive 防止讀取超時。

使用情境

  • 搭配 Claude Code 等工具進行本地 LLM 編碼工作,利用跨上下文變更仍持續存在的 KV 快取。
  • 在單一 Mac 上部署視覺語言模型,同時使用連續批次處理與分層快取。
  • 從 macOS 選單列管理多個模型,進行各模型設定與即時監控。
  • 跨多台 Mac 進行實驗性分散式推論,以執行較大模型。

快速開始

bash # macOS App:從 Releases 下載 .dmg,拖曳至 Applications。 # Homebrew: brew tap jundot/omlx https://github.com/jundot/omlx brew install jundot/omlx/omlx --with-custom-kernel # 安裝後快速啟動 CLI: omlx start omlx serve --model-dir ~/models

授權與價格

授權:Apache-2.0。價格:開放原始碼(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/jundotomlx.svg)](https://yunodb.com/tools/jundotomlx?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/jundotomlx?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/jundotomlx.svg" alt="Featured on YunoDB" height="20"></a>