kyojin
Kyojin:開放原始碼引擎,可在單一台式機上運行 100 GB 等級的開放模型(GLM-5.3、Qwen3.8、DeepSeek V4.1)。支援 AMD Strix Halo、NVIDIA RTX 及 Apple Mac。
kyojin 是什麼?
Kyojin:開放原始碼引擎,可在單一台式機上運行 100 GB 等級的開放模型(GLM-5.3、Qwen3.8、DeepSeek V4.1)。支援 AMD Strix Halo、NVIDIA RTX 及 Apple Mac。提供 OpenAI API,基於 ExLlamaV3 建構。
kyojin 概覽
這是什麼
Kyojin 是一個開源推理引擎,專為在單一迷你 PC 或顯示卡上執行大型開放模型而設計。它基於 ExLlamaV3 建構,支援 AMD (ROCm) 和 NVIDIA (CUDA) 硬體。該引擎聲稱在某些工作負載下比 llama.cpp 快約 2 倍。
主要功能
- 推測解碼,提升 token 生成速度。
- 支援長達 500K token 的長上下文。
- 特定模型(GLM-5.3-Flash、MiMo-V2.6-Flash、Qwen3.8-Flash-Next)的無審查模式,在不修改權重的情況下降低拒絕率。
- 實驗性支援 DeepSeek-V4.1-Flash(763B 參數)在單一 128 GB 機器上搭配 NVMe SSD 分層。
- 量化 KV 快取(Flint 使用 6/6 位元,Qwen27 使用 4/4 位元),以在有限的 VRAM 中容納更大的上下文。
- 提供 Prometheus
/metrics端點用於監控。
使用情境
- 在配備 128 GB 統一記憶體的消費級硬體上執行大型語言模型(100 GB 等級)。
- 長上下文文件分析(最多 500K token)。
- 使用 OpenAI 相容 API 進行本地推理,用於開發和測試。
- 在單一機器上搭配 SSD 卸載,實驗性部署極大型模型(例如 763B)。
快速開始
bashgit clone https://github.com/Yamz-Labs/kyojin && cd kyojinhf download yamz-labs/Qwen3.8-Flash-Next-EXL3-Yamz --local-dir ./qwen-packpython tools/qwen/serve.py --model ./qwen-pack --port 8000 -c 131072執行前需先安裝 ROCm torch 並建置(詳見 doc/install.md)。
授權與價格
MIT 授權。此專案為開源。
內容整理自該專案公開的 README 與儲存庫資訊。