turbo-fieldfare

在任何 M 系列 MacBook 上,以約 2 GB 記憶體執行 Gemma 4 26B-A4B 推論

turbo-fieldfare 是什麼?

在任何 M 系列 MacBook 上,以約 2 GB 記憶體執行 Gemma 4 26B-A4B 推論

turbo-fieldfare 概覽

這是什麼

TurboFieldfare 是一個自訂的 Swift 與 Metal 執行環境,專為在 Apple Silicon Mac 上執行 Gemma 4 26B-A4B 指令微調模型而設計。它將記憶體使用量控制在約 2 GB,方法是僅從 SSD 串流所需的專家權重,而非將完整的 14.3 GB 模型載入記憶體。此專案包含原生 Mac 應用程式、命令列介面,以及一個實驗性的 OpenAI 相容伺服器。它是特定於模型的,並非 MLX 或 llama.cpp 的包裝器。

主要功能

  • 在任何 M 系列 Mac(包括 8 GB 機型)上執行 Gemma 4 26B-A4B(總參數 260 億,每個 token 活躍約 38.8 億參數)。
  • 在記憶體中保留約 2 GB 的權重與 4K KV 快取;按需從 SSD 串流專家權重。
  • 使用 MLX affine 4 位元量化(群組 64)、8 位元路由器,以及 4 位元共享與路由專家。
  • 提供原生 Mac 應用程式、CLI,以及迴圈 OpenAI 相容的 Chat Completions 伺服器。
  • 支援選用的影像視覺塔(需 M2 或更新 Mac;M1 僅限純文字)。
  • 包含串流安裝程式,可直接從 Hugging Face 重新打包模型,無需在磁碟上產生完整的檢查點。

使用情境

  • 在記憶體有限的 Mac(例如 8 GB)上本機執行大型語言模型。
  • 使用 260 億參數模型進行指令遵循與對話。
  • 在 Apple Silicon 硬體上實驗 MoE(混合專家)推論。
  • 無需雲端依賴,進行 LLM 應用的本機開發與測試。

快速開始

bash git clone https://github.com/drumih/turbo-fieldfare.git cd turbo-fieldfare swift build -c release .build/release/TurboFieldfareMac 首次執行時,應用程式會提示下載模型(約 15 GB)。安裝完成後,選擇「Load Model」,輸入提示詞,然後按下「Generate」。

授權與價格

此專案採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/drumihturbo-fieldfare.svg)](https://yunodb.com/tools/drumihturbo-fieldfare?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/drumihturbo-fieldfare?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/drumihturbo-fieldfare.svg" alt="Featured on YunoDB" height="20"></a>