gufo

專為 AMD Strix Halo 打造的開源 AI 引擎。文字、嵌入、語音、影像與影片模型整合於單一二進位檔,提供 OpenAI 相容 API、快取機制以支援程式碼代理與模型擴充。支援 Linux 與 Windows。

gufo 是什麼?

專為 AMD Strix Halo 打造的開源 AI 引擎。文字、嵌入、語音、影像與影片模型整合於單一二進位檔,提供 OpenAI 相容 API、快取機制以支援程式碼代理與模型擴充。支援 Linux 與 Windows。

gufo 概覽

這是什麼

Gufo 是一個垂直本地推理引擎,專門為 AMD Strix Halo 硬體(Ryzen AI MAX+ 395 系統搭配 Radeon 8060S,gfx1151,最高 128 GiB 統一記憶體)打造與最佳化。

主要功能

  • 支援多種模型系列:Qwen3.8 27B、Qwen3.8 Flash-Next、DeepSeek V4 Flash、Qwen3-ASR 1.7B、Qwen3-TTS 1.7B、Qwen-Image-2.1、MiniMax H3。
  • 涵蓋文字、音訊、影像與影片推理模式。
  • 提供推測解碼模式:DFlash2、MTP、DSpark。
  • 將並發請求、取消與對話快取視為一級工作負載。
  • 暴露 OpenAI 相容 API(Chat Completions 與 Responses),支援文字、圖片、函式工具、結構化輸出與串流。
  • 透過 Podman 容器映像檔交付;也可從原始碼使用 Nix 或無 Nix 建置。
  • 專為 Strix Halo 128 GiB 硬體最佳化;較小記憶體配置仍可運作。

使用情境

  • 在 AMD Strix Halo 系統上本地執行大型語言模型。
  • 以低延遲提供文字、音訊、影像與影片生成模型服務。
  • 處理多個並發使用者或請求,達到聚合吞吐量。
  • 整合 OpenAI 相容客戶端(例如 Open WebUI、VS Code、OpenAI SDK)。

快速開始

shhf download unsloth/Qwen3.8-27B-GGUF Qwen3.8-27B-UD-Q8_K_XL.gguf --revision 4ca720788d1e01f1bff70c033e0d0028fd02e502 --repo-type model --local-dir models/Qwen3.8-27B-GGUFhf download z-lab/Qwen3.8-27B-DFlash2-GGUF Qwen3.8-27B-DFlash2-Q4_K_M.gguf --revision 2d9571f8ce46e151f61c6499c99dee6079e1d610 --repo-type model --local-dir models/Qwen3.8-27B-DFlash2-GGUFpodman pull ghcr.io/gufo-org/toolboxes/gufo-runtime:latestpodman run --rm --userns=keep-id:uid=1000,gid=1000 --device /dev/kfd --device /dev/dri --group-add keep-groups --ulimit memlock=-1 -p 8080:8080 -v ./models:/models:ro ghcr.io/gufo-org/toolboxes/gufo-runtime:latest gufo serve --host 0.0.0.0 --port 8080 llm --model /models/Qwen3.8-27B-GGUF/Qwen3.8-27B-UD-Q8_K_XL.gguf --speculative dflash2 --dflash-model /models/Qwen3.8-27B-DFlash2-GGUF/Qwen3.8-27B-DFlash2-Q4_K_M.gguf

授權與價格

MIT 授權,開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/gufo-orggufo.svg)](https://yunodb.com/tools/gufo-orggufo?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/gufo-orggufo?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/gufo-orggufo.svg" alt="Featured on YunoDB" height="20"></a>