ferrox
Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。
ferrox 是什麼?
Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。
Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。
Pure-Rust GGUF 推論引擎,搭載量化 CPU、Metal 與 CUDA 核心、MoE 支援,以及 OpenAI 相容伺服器。已與 llama.cpp 進行頭對頭基準測試。