shimmy

⚡ 純 Rust 建構的 WebGPU 推論引擎 — 相容 OpenAI API,原生支援 GGUF,可在任何 GPU 上執行。無需 Python,無需 llama.cpp。單一二進位檔。

shimmy 是什麼?

⚡ 純 Rust 建構的 WebGPU 推論引擎 — 相容 OpenAI API,原生支援 GGUF,可在任何 GPU 上執行。無需 Python,無需 llama.cpp。單一二進位檔。