halogen-flash-server
本地推論,表現如同前沿API:在AMD Strix Halo上運行Qwen3.8-Flash-Next,加上小型NPU模型,透過OpenAI和Anthropic API,全部整合在一個連接埠上。
halogen-flash-server 是什麼?
本地推論,表現如同前沿API:在AMD Strix Halo上運行Qwen3.8-Flash-Next,加上小型NPU模型,透過OpenAI和Anthropic API,全部整合在一個連接埠上。
halogen-flash-server 概覽
這是什麼
halogen-flash-server 是一個本機推論伺服器,可在 AMD Strix Halo 硬體上執行 Qwen3.8-Flash-Next。它專為代理程式使用情境設計,提供快速回應時間。伺服器在單一埠上同時提供 OpenAI 相容與 Anthropic 相容的 API。也支援小型 NPU 模型。
主要功能
- 在 AMD Strix Halo 上執行 Qwen3.8-Flash-Next,使用專為此 GPU 與模型系列撰寫的自訂核心。
- 解碼速度:重複輸出最高 94 tok/s,撰寫程式碼 73 tok/s,散文 54 tok/s(以 0.18.0 預設配置測量)。
- 預填速度:8,192 token 提示 1,821 tok/s,32,768 token 提示 1,740 tok/s,131,072 token 提示 1,675 tok/s。
- 代理程式回合延遲:在長對話(30,000 至 96,000 token 上下文)中,第一個 token 約 1.6 秒。
- 支援推測解碼,使用兩種推測來源(模型自身的推測頭與提示查詢),在溫度 0 時驗證可產生位元組完全相同的輸出。
- 可直接載入相同模型的 llama.cpp GGUF 檔案,無需轉換。
- 在單一埠上提供 OpenAI 與 Anthropic API 端點。
使用情境
- 執行需要快速回合時間的 AI 代理程式本機推論。
- 需要處理長對話歷史的程式碼代理程式。
- 本機開發與測試,模擬前沿 API 的行為。
- 在 AMD Strix Halo 硬體上部署私有推論服務。
快速開始
bash mkdir -p ~/halogen-models podman run --rm -p 8731:8731 --device /dev/kfd --device /dev/dri --group-add keep-groups --ipc=host --ulimit memlock=-1:-1 -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next -v ~/halogen-models:/models ghcr.io/peonist-ai/halogen-flash-server:0.18.17 一個條件:將 BIOS 的 carve-out(UMA 幀緩衝區)設為最小值。
授權與價格
此引擎為開源軟體。README 中未明確說明授權條款;引擎依據 LICENSE.md 中的條款發布。模型權重由其原始作者另行授權。
內容整理自該專案公開的 README 與儲存庫資訊。