BigMoeOnEdge

BigMoeOnEdge 概覽

這是什麼

BigMoeOnEdge 是一個針對混合專家（MoE）模型的自適應串流優化器。它能讓比可用 RAM 大好幾倍的 MoE 模型在手機、筆電、單板電腦等邊緣裝置上執行。該專案建基於 llama.cpp 的公開 API，並提供本機 OpenAI 相容伺服器。支援 Android、macOS、Windows 與 Linux。

主要功能

• 自適應串流優化器：測量機器（記憶體、儲存速度、CPU、GPU、NPU），為該特定裝置建立最佳計劃，並顯示每項選擇背後的原因。
• 相容任何硬體、任何作業系統、任何 MoE gguf 模型，以及任何 llama.cpp 支援的量化方式。
• 本機 OpenAI 相容伺服器，讓聊天客戶端與程式碼代理工具可完全在本機執行，裝置間也能透過 Wi-Fi 共享模型。
• 即時模型標頭檢查：引擎在下載前讀取模型標頭，並告知它將如何執行。
• 計劃串流是無損的：輸出與完全在記憶體中執行模型完全相同，並經測試驗證。

使用情境

在記憶體受限的邊緣裝置上執行大型 MoE 模型，用於本機 AI 代理、聊天機器人與程式碼助手。適合想在手機、筆電或邊緣硬體上執行前沿規模模型，又不犧牲輸出品質的使用者。也適合需要本機 OpenAI 相容 API 給工具使用的開發者。

快速開始

bashbmoe-cli -m model.gguf --auto -p 'Explain MoE routing.' # 測量、規劃、執行bmoe-cli -m model.gguf --plan # 顯示計劃後退出或是在桌機：從最新發行版下載 bmoe-desktop 壓縮檔，然後執行 bmoe-server --open。Android 使用者則安裝最新發行版的 APK。

授權與價格

Apache-2.0。此專案為開放原始碼。

內容整理自該專案公開的 README 與儲存庫資訊。