slotstream
在無法容納的 Mac 上執行 105 GB 的 AI 模型。Qwen3.8-Flash-Next 4-bit,從 SSD 串流至 16–64 GB Apple Silicon Mac。完全原生 Swift、MLX 與 Metal
slotstream 是什麼?
在無法容納的 Mac 上執行 105 GB 的 AI 模型。Qwen3.8-Flash-Next 4-bit,從 SSD 串流至 16–64 GB Apple Silicon Mac。完全原生 Swift、MLX 與 Metal。離線,無需 Python。提供 CLI、Swift 函式庫,以及 Ollama/OpenAI/Anthropic API。可與 Claude Code 和 Codex 搭配使用。
slotstream 概覽
這是什麼
Slotstream 是一個專為 Apple Silicon Mac 設計的原生 Swift 程式,可在只有 16 到 64 GB 記憶體的機器上執行 1250 億參數的 Qwen3.8-Flash-Next 混合專家模型(4-bit 量化後約 105 GB)。它將大部分模型放在 SSD 上,僅在需要時將最忙碌的專家串流載入記憶體,使用 Apple 的 MLX 與 Metal 框架。無需 Python、無需雲端帳號,一次下載後即可離線使用。它提供相容 Ollama、OpenAI 與 Anthropic 的 API,讓外部工具如 Claude Code、Codex 等可以連接到本機模型。
主要功能
- 在 16–64 GB 記憶體的 Mac 上透過 SSD 串流執行 105 GB 模型 - 單一原生 Swift 二進位檔,使用 MLX 與 Metal,無 Python 相依 - 初次下載後完全離線運作 - 提供 Fast 與 Smart 兩種模型預設設定,因應不同任務難度 - 提供 Ollama、OpenAI 與 Anthropic 相容的 API 端點 - 內建 Homes 資料瀏覽器,支援搜尋、欄位篩選、記錄細節與關聯 - 可透過
slotstream launch指令與 Claude Code、Codex、Pi、opencode 及 Hermes 搭配使用
使用情境
- 在無法完整載入模型的 Mac 上執行前沿等級的開放模型 - 透過 Claude Code、Codex 或類似工具作為本機 AI 程式輔助 - 影像理解任務(模型可處理圖片) - 開發自訂應用程式透過標準 API 介面連接 - 無需網路或雲端帳號的離線 AI 使用
快速開始
slotstream launch claude 安裝後,slotstream launch 指令會以本機模型啟動 Claude Code。完整安裝與設定請參考儲存庫 README。
授權與價格
MIT 授權。開放原始碼。除授權條款外未提及價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。