mlx-vlm
MLX-VLM 是一個套件,讓你能在 Mac 上使用 MLX 推論及微調視覺語言模型 (VLM)。
mlx-vlm 是什麼?
MLX-VLM 是一個套件,讓你能在 Mac 上使用 MLX 推論及微調視覺語言模型 (VLM)。
mlx-vlm 概覽
這是什麼
MLX-VLM 是一個套件,用於在搭載 Apple Silicon 的 Mac 上,使用 MLX 框架進行視覺語言模型(VLM)的推論與微調。支援文字、圖片、影片與音訊輸入。此專案由 Neywa Labs 開發。
主要功能
- 支援多模態模型(文字、圖片、影片、音訊)的推論與微調。
- 提供命令列介面(CLI)進行生成任務。
- 包含基於 Gradio 的聊天介面(需額外安裝相依套件)。
- 提供 FastAPI 伺服器,支援連續批次處理、自動前綴快取(APC)與 KV 快取量化。
- 支援投機解碼,可使用 DFlash、DFlash2、DSpark、Gemma 4 MTP、Gemma 4 EAGLE-3 與 MiniMax M3 EAGLE-3 等草稿模型系列。
- 提供代理技能套件,涵蓋常見工作流程(CLI 推論、伺服器推論、轉換/量化、新增模型、基準測試、貢獻與可重現的 GitHub 問題回報)。
- 為多種支援的模型提供專屬文件(例如 LFM3、DeepSeek-OCR、Phi-4、Gemma 4、MiniCPM 等)。
使用情境
- 在 Apple Silicon Mac 上執行視覺語言模型推論。
- 針對自訂任務微調 VLM。
- 建置本機多模態 AI 應用(聊天、光學字元辨識、音訊理解、圖片生成、3D 高斯潑濺)。
- 部署本機伺服器,進行具備連續批次處理與快取功能的多模態推論。
- 實驗投機解碼以加速生成。
快速開始
使用 pip 安裝套件:shpip install -U mlx-vlm若需使用 Gradio 聊天介面,請安裝包含 ui 擴充功能的版本:shpip install -U 'mlx-vlm[ui]'
授權與價格
此專案採用 MIT 授權條款。為開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。