shimmy

⚡ 純 Rust 建構的 WebGPU 推論引擎 — 相容 OpenAI API,原生支援 GGUF,可在任何 GPU 上執行。無需 Python,無需 llama.cpp。單一二進位檔。

shimmy 是什麼?

⚡ 純 Rust 建構的 WebGPU 推論引擎 — 相容 OpenAI API,原生支援 GGUF,可在任何 GPU 上執行。無需 Python,無需 llama.cpp。單一二進位檔。

shimmy 概覽

這是什麼

Shimmy 是一個以 Rust 撰寫的本機推理伺服器與命令列工具。它使用 Airframe 引擎(0.4.5 版),透過 WebGPU 在任何 GPU 上執行 GGUF 模型。伺服器提供與 OpenAI API 相容的端點,支援聊天與文字補完功能。不需要 Python 或 llama.cpp,並以單一二進位檔形式發佈。

主要功能

  • 純 Rust 的 WebGPU 推理引擎,可在任何 GPU(Vulkan、Metal、DirectX)上執行。
  • 與 OpenAI API 相容的伺服器,提供模型列表、JSON 聊天/文字補完,以及僅限聊天的 SSE。
  • 原生支援 GGUF 模型,無需 Python 或 llama.cpp。
  • 單一二進位檔發佈;可透過 cargo、Homebrew、Scoop 或 Docker 安裝。
  • F32 KV 快取與參考核心定義了驗證正確性的路徑。
  • 預設為延遲載入;可選的指定模型預熱功能。
  • 迴路模式無需 API 金鑰;非迴路綁定需要 SHIMMY_API_KEY。

使用情境

在消費級 GPU 上本機執行大型語言模型,用於開發、測試或私有推理。適合需要 OpenAI 相容伺服器但不想依賴雲端的使用者。可用於聊天應用、文字生成,以及在本機硬體上進行模型評估。

快速開始

bashcargo install shimmy --version 2.6.6 --lockedshimmy --versionshimmy --ctx 512 --kv-quant f32 serve --model-path /path/to/model.gguf --bind 127.0.0.1:11435需要可用的 Rust 工具鏈與 GPU 驅動程式。請參閱儲存庫 README 以取得快速入門指南、模型雜湊值與設定細節。

授權與價格

Shimmy 伺服器程式碼採用 Apache-2.0 授權。預設依賴堆疊(Airframe、airframe-observe:MIT;ShimmyTok:MIT 或 Apache-2.0;libfse 0.1.4:Apache-2.0 附加授權)允許商業使用、修改、重新發佈及整合至產品中,無需另行取得商業許可。此專案為開放原始碼且免費;維護者聲明它永遠不會成為付費產品。接受贊助,但非必要。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/michael-a-kuykendallshimmy.svg)](https://yunodb.com/tools/michael-a-kuykendallshimmy?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/michael-a-kuykendallshimmy?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/michael-a-kuykendallshimmy.svg" alt="Featured on YunoDB" height="20"></a>