halogen-flash-server

本地推論,表現如同前沿API:在AMD Strix Halo上運行Qwen3.8-Flash-Next,加上小型NPU模型,透過OpenAI和Anthropic API,全部整合在一個連接埠上。

halogen-flash-server 是什麼?

本地推論,表現如同前沿API:在AMD Strix Halo上運行Qwen3.8-Flash-Next,加上小型NPU模型,透過OpenAI和Anthropic API,全部整合在一個連接埠上。

halogen-flash-server 概覽

這是什麼

halogen-flash-server 是一個本機推論伺服器,可在 AMD Strix Halo 硬體上執行 Qwen3.8-Flash-Next。它專為代理程式使用情境設計,提供快速回應時間。伺服器在單一埠上同時提供 OpenAI 相容與 Anthropic 相容的 API。也支援小型 NPU 模型。

主要功能

  • 在 AMD Strix Halo 上執行 Qwen3.8-Flash-Next,使用專為此 GPU 與模型系列撰寫的自訂核心。
  • 解碼速度:重複輸出最高 94 tok/s,撰寫程式碼 73 tok/s,散文 54 tok/s(以 0.18.0 預設配置測量)。
  • 預填速度:8,192 token 提示 1,821 tok/s,32,768 token 提示 1,740 tok/s,131,072 token 提示 1,675 tok/s。
  • 代理程式回合延遲:在長對話(30,000 至 96,000 token 上下文)中,第一個 token 約 1.6 秒。
  • 支援推測解碼,使用兩種推測來源(模型自身的推測頭與提示查詢),在溫度 0 時驗證可產生位元組完全相同的輸出。
  • 可直接載入相同模型的 llama.cpp GGUF 檔案,無需轉換。
  • 在單一埠上提供 OpenAI 與 Anthropic API 端點。

使用情境

  • 執行需要快速回合時間的 AI 代理程式本機推論。
  • 需要處理長對話歷史的程式碼代理程式。
  • 本機開發與測試,模擬前沿 API 的行為。
  • 在 AMD Strix Halo 硬體上部署私有推論服務。

快速開始

bash mkdir -p ~/halogen-models podman run --rm -p 8731:8731 --device /dev/kfd --device /dev/dri --group-add keep-groups --ipc=host --ulimit memlock=-1:-1 -e HALOGEN_DOWNLOAD=peonist-ai/halogen-qwen3.8-flash-next -v ~/halogen-models:/models ghcr.io/peonist-ai/halogen-flash-server:0.18.17 一個條件:將 BIOS 的 carve-out(UMA 幀緩衝區)設為最小值。

授權與價格

此引擎為開源軟體。README 中未明確說明授權條款;引擎依據 LICENSE.md 中的條款發布。模型權重由其原始作者另行授權。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/peonist-aihalogen-flash-server.svg)](https://yunodb.com/tools/peonist-aihalogen-flash-server?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/peonist-aihalogen-flash-server?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/peonist-aihalogen-flash-server.svg" alt="Featured on YunoDB" height="20"></a>