paddock
原生 Rust 推論伺服器，用於 NVIDIA GPU 上的開放模型。相容 OpenAI 和 Anthropic 的 API，GGUF + safetensors，FP8/NVFP4/MXFP4/Q8/Q4，內建 Studio
paddock 是什麼？
原生 Rust 推論伺服器，用於 NVIDIA GPU 上的開放模型。相容 OpenAI 和 Anthropic 的 API，GGUF + safetensors，FP8/NVFP4/MXFP4/Q8/Q4，內建 Studio
繼續探索
查看所有替代工具 
