RustingStrata
純 Rust 推理引擎,用於 Qwen GGUF 模型(Qwen3 至 Qwen3.8,密集與專家混合模型最高可達 770B+)。支援 CUDA 與 Vulkan(NVIDIA、AMD),混合 CPU+GPU 專家,MTP specul
RustingStrata 是什麼?
純 Rust 推理引擎,用於 Qwen GGUF 模型(Qwen3 至 Qwen3.8,密集與專家混合模型最高可達 770B+)。支援 CUDA 與 Vulkan(NVIDIA、AMD),混合 CPU+GPU 專家,MTP 推測解碼,相容於 OpenAI 與 Anthropic 的伺服器。在 12 GB RTX 3060 上,解碼速度最高可達 llama.cpp 的約 1.7 倍。
RustingStrata 概覽
這是什麼
RustingStrata 是一個純 Rust 實作的推論引擎,專為 Qwen GGUF 模型設計,支援 Qwen3 到 Qwen3.8、密集與混合專家(MoE)架構,參數量最高可達 80B+。它支援 CUDA 與 Vulkan 後端(NVIDIA 與 AMD GPU)、混合 CPU+GPU 專家執行、以及 MTP 推測解碼。引擎提供 OpenAI 與 Anthropic 相容的伺服器。CUDA 核心在執行時期透過 NVRTC 編譯並快取,無需 C++ 建置步驟或 ggml 依賴。
主要功能
- 純 Rust 實作,無需 C++ 建置步驟。
- 支援 CUDA(NVIDIA)與 Vulkan(NVIDIA、AMD)後端。
- 混合 CPU+GPU 專家執行,適用於 MoE 模型當專家超過 VRAM 時。
- MTP(多 Token 預測)推測解碼。
- OpenAI 與 Anthropic 相容的聊天補全伺服器。
- 執行時期 CUDA 核心編譯(透過 NVRTC)並快取。
- 支援多種 GGUF 量化類型:F32、F16、BF16、Q8_0、Q4_0、Q4_1、Q5_0、Q5_1、Q2_0、Q2_K–Q6_K、IQ1_S、IQ1_M、IQ2_XXS、IQ2_XS、IQ2_S、IQ3_XXS、IQ3_S、IQ4_XS、IQ4_NL。
使用情境
- 在 GGUF 格式下執行 Qwen3、Qwen3.5、Qwen3.6、Qwen3.8 與 Qwen3-Next 模型。
- 在 NVIDIA 或 AMD 硬體上使用 GPU 加速進行本機推論。
- 提供 OpenAI 相容 API 給聊天應用、代理程式或工具(如 Open WebUI、Jan、SillyTavern、程式碼編輯器)。
- 提供 Anthropic Messages API 給 Claude Code 或其他 Anthropic 相容客戶端。
- 對 Qwen 模型進行基準測試與效能評估。
快速開始
shcargo build --release詳細的使用說明,包括校準、生成、聊天、基準測試與伺服器指令,請參閱儲存庫的 README。
授權與價格
授權條款未標明。
內容整理自該專案公開的 README 與儲存庫資訊。