RustingStrata

純 Rust 推理引擎,用於 Qwen GGUF 模型(Qwen3 至 Qwen3.8,密集與專家混合模型最高可達 770B+)。支援 CUDA 與 Vulkan(NVIDIA、AMD),混合 CPU+GPU 專家,MTP specul

RustingStrata 是什麼?

純 Rust 推理引擎,用於 Qwen GGUF 模型(Qwen3 至 Qwen3.8,密集與專家混合模型最高可達 770B+)。支援 CUDA 與 Vulkan(NVIDIA、AMD),混合 CPU+GPU 專家,MTP 推測解碼,相容於 OpenAI 與 Anthropic 的伺服器。在 12 GB RTX 3060 上,解碼速度最高可達 llama.cpp 的約 1.7 倍。

RustingStrata 概覽

這是什麼

RustingStrata 是一個純 Rust 實作的推論引擎,專為 Qwen GGUF 模型設計,支援 Qwen3 到 Qwen3.8、密集與混合專家(MoE)架構,參數量最高可達 80B+。它支援 CUDA 與 Vulkan 後端(NVIDIA 與 AMD GPU)、混合 CPU+GPU 專家執行、以及 MTP 推測解碼。引擎提供 OpenAI 與 Anthropic 相容的伺服器。CUDA 核心在執行時期透過 NVRTC 編譯並快取,無需 C++ 建置步驟或 ggml 依賴。

主要功能

  • 純 Rust 實作,無需 C++ 建置步驟。
  • 支援 CUDA(NVIDIA)與 Vulkan(NVIDIA、AMD)後端。
  • 混合 CPU+GPU 專家執行,適用於 MoE 模型當專家超過 VRAM 時。
  • MTP(多 Token 預測)推測解碼。
  • OpenAI 與 Anthropic 相容的聊天補全伺服器。
  • 執行時期 CUDA 核心編譯(透過 NVRTC)並快取。
  • 支援多種 GGUF 量化類型:F32、F16、BF16、Q8_0、Q4_0、Q4_1、Q5_0、Q5_1、Q2_0、Q2_K–Q6_K、IQ1_S、IQ1_M、IQ2_XXS、IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S、IQ4_XS、IQ4_NL。

使用情境

  • 在 GGUF 格式下執行 Qwen3、Qwen3.5、Qwen3.6、Qwen3.8 與 Qwen3-Next 模型。
  • 在 NVIDIA 或 AMD 硬體上使用 GPU 加速進行本機推論。
  • 提供 OpenAI 相容 API 給聊天應用、代理程式或工具(如 Open WebUI、Jan、SillyTavern、程式碼編輯器)。
  • 提供 Anthropic Messages API 給 Claude Code 或其他 Anthropic 相容客戶端。
  • 對 Qwen 模型進行基準測試與效能評估。

快速開始

shcargo build --release詳細的使用說明,包括校準、生成、聊天、基準測試與伺服器指令,請參閱儲存庫的 README。

授權與價格

授權條款未標明。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/rustingstudiorustingstrata.svg)](https://yunodb.com/tools/rustingstudiorustingstrata?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/rustingstudiorustingstrata?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/rustingstudiorustingstrata.svg" alt="Featured on YunoDB" height="20"></a>