project-maya

project-maya 概覽

這是什麼

Project Maya 是一套軟體專案，讓使用者能夠在自己的 GPU 硬體上，私下執行 GLM-5.3-Flash 321B 參數的混合專家模型。專案包含引擎、伺服器、網頁儀表板，以及相容於 OpenAI 和 Anthropic 的 API。它支援一至十六張 GPU，可運作於 NVIDIA 或 AMD（實驗性質）GPU，以及 Linux 或 Windows（實驗性質）系統。專案由 Peasant Smith（@mw00）創立與領導，並與 @needmorevram 共同維護。授權為 MIT。

主要功能

• 在使用者自有的硬體上私下執行 321B MoE 模型，無需將資料傳送至外部伺服器。
• 動態專家卸載：將活躍中的專家保留於 GPU，次活躍者保留於 RAM，其餘存放於 NVMe SSD。
• 自我調校：自動測量 GPU、CPU、RAM 及 SSD 效能，並依此調整設定。
• 支援最多八個同時請求，透過內建的平行解碼功能，可供多位使用者或多個代理程式同時使用。
• 提供多種量化模型變體（Maya-S、Maya-S24、Maya-M、Maya-M-Derisked、Maya-L），可保留原始 FP8 模型 97.7%–99.2% 的零樣本準確度。
• 提供瀏覽器為基礎的聊天介面與即時監控，支援圖片、思維層級、工具呼叫，以及一鍵設定腳本。

使用情境

• 在本地端執行大型 AI 模型進行隱私敏感的應用，例如分析不能離開本機的個人文件或資料。
• 驅動需要同時處理多個請求的程式碼代理或多會議 AI 工具。
• 在沒有資料中心規模硬體的條件下，於消費級或專業級 GPU 上實驗或調整 321B 參數的模型。

快速開始

請參閱儲存庫中的 README 以取得設定說明。本專案包含一鍵設定腳本，並在使用者安裝時提供量化模型變體（Maya-S、Maya-S24、Maya-M、Maya-M-Derisked、Maya-L）的選擇。使用者可透過 ./maya.sh --bench 執行基準測試，並以 ./maya.sh --report 回報結果。

授權與價格

本專案採用 MIT 授權。價格類型為開放原始碼，亦即軟體為免費且公開可用。

內容整理自該專案公開的 README 與儲存庫資訊。