kyojin

Kyojin:開放原始碼引擎,可在單一台式機上運行 100 GB 等級的開放模型(GLM-5.3、Qwen3.8、DeepSeek V4.1)。支援 AMD Strix Halo、NVIDIA RTX 及 Apple Mac。

kyojin 是什麼?

Kyojin:開放原始碼引擎,可在單一台式機上運行 100 GB 等級的開放模型(GLM-5.3、Qwen3.8、DeepSeek V4.1)。支援 AMD Strix Halo、NVIDIA RTX 及 Apple Mac。提供 OpenAI API,基於 ExLlamaV3 建構。

kyojin 概覽

這是什麼

Kyojin 是一個開源推理引擎,專為在單一迷你 PC 或顯示卡上執行大型開放模型而設計。它基於 ExLlamaV3 建構,支援 AMD (ROCm) 和 NVIDIA (CUDA) 硬體。該引擎聲稱在某些工作負載下比 llama.cpp 快約 2 倍。

主要功能

  • 推測解碼,提升 token 生成速度。
  • 支援長達 500K token 的長上下文。
  • 特定模型(GLM-5.3-Flash、MiMo-V2.6-Flash、Qwen3.8-Flash-Next)的無審查模式,在不修改權重的情況下降低拒絕率。
  • 實驗性支援 DeepSeek-V4.1-Flash(763B 參數)在單一 128 GB 機器上搭配 NVMe SSD 分層。
  • 量化 KV 快取(Flint 使用 6/6 位元,Qwen27 使用 4/4 位元),以在有限的 VRAM 中容納更大的上下文。
  • 提供 Prometheus /metrics 端點用於監控。

使用情境

  • 在配備 128 GB 統一記憶體的消費級硬體上執行大型語言模型(100 GB 等級)。
  • 長上下文文件分析(最多 500K token)。
  • 使用 OpenAI 相容 API 進行本地推理,用於開發和測試。
  • 在單一機器上搭配 SSD 卸載,實驗性部署極大型模型(例如 763B)。

快速開始

bashgit clone https://github.com/Yamz-Labs/kyojin && cd kyojinhf download yamz-labs/Qwen3.8-Flash-Next-EXL3-Yamz --local-dir ./qwen-packpython tools/qwen/serve.py --model ./qwen-pack --port 8000 -c 131072執行前需先安裝 ROCm torch 並建置(詳見 doc/install.md)。

授權與價格

MIT 授權。此專案為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/yamz-labskyojin.svg)](https://yunodb.com/tools/yamz-labskyojin?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/yamz-labskyojin?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/yamz-labskyojin.svg" alt="Featured on YunoDB" height="20"></a>