ferrox

Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。

ferrox 是什麼?

Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。