gufo
專為 AMD Strix Halo 打造的開源 AI 引擎。文字、嵌入、語音、影像與影片模型整合於單一二進位檔,提供 OpenAI 相容 API、快取機制以支援程式碼代理與模型擴充。支援 Linux 與 Windows。
gufo 是什麼?
專為 AMD Strix Halo 打造的開源 AI 引擎。文字、嵌入、語音、影像與影片模型整合於單一二進位檔,提供 OpenAI 相容 API、快取機制以支援程式碼代理與模型擴充。支援 Linux 與 Windows。
gufo 概覽
這是什麼
Gufo 是一個垂直本地推理引擎,專門為 AMD Strix Halo 硬體(Ryzen AI MAX+ 395 系統搭配 Radeon 8060S,gfx1151,最高 128 GiB 統一記憶體)打造與最佳化。
主要功能
- 支援多種模型系列:Qwen3.8 27B、Qwen3.8 Flash-Next、DeepSeek V4 Flash、Qwen3-ASR 1.7B、Qwen3-TTS 1.7B、Qwen-Image-2.1、MiniMax H3。
- 涵蓋文字、音訊、影像與影片推理模式。
- 提供推測解碼模式:DFlash2、MTP、DSpark。
- 將並發請求、取消與對話快取視為一級工作負載。
- 暴露 OpenAI 相容 API(Chat Completions 與 Responses),支援文字、圖片、函式工具、結構化輸出與串流。
- 透過 Podman 容器映像檔交付;也可從原始碼使用 Nix 或無 Nix 建置。
- 專為 Strix Halo 128 GiB 硬體最佳化;較小記憶體配置仍可運作。
使用情境
- 在 AMD Strix Halo 系統上本地執行大型語言模型。
- 以低延遲提供文字、音訊、影像與影片生成模型服務。
- 處理多個並發使用者或請求,達到聚合吞吐量。
- 整合 OpenAI 相容客戶端(例如 Open WebUI、VS Code、OpenAI SDK)。
快速開始
shhf download unsloth/Qwen3.8-27B-GGUF Qwen3.8-27B-UD-Q8_K_XL.gguf --revision 4ca720788d1e01f1bff70c033e0d0028fd02e502 --repo-type model --local-dir models/Qwen3.8-27B-GGUFhf download z-lab/Qwen3.8-27B-DFlash2-GGUF Qwen3.8-27B-DFlash2-Q4_K_M.gguf --revision 2d9571f8ce46e151f61c6499c99dee6079e1d610 --repo-type model --local-dir models/Qwen3.8-27B-DFlash2-GGUFpodman pull ghcr.io/gufo-org/toolboxes/gufo-runtime:latestpodman run --rm --userns=keep-id:uid=1000,gid=1000 --device /dev/kfd --device /dev/dri --group-add keep-groups --ulimit memlock=-1 -p 8080:8080 -v ./models:/models:ro ghcr.io/gufo-org/toolboxes/gufo-runtime:latest gufo serve --host 0.0.0.0 --port 8080 llm --model /models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q8_K_XL.gguf --speculative dflash2 --dflash-model /models/Qwen3.8-27B-DFlash2-GGUF/Qwen3.8-27B-DFlash2-Q4_K_M.gguf
授權與價格
MIT 授權,開源。
內容整理自該專案公開的 README 與儲存庫資訊。