P

pegainfer

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch,相容 OpenAI,支援 Qwen3 至 Kimi-K2

pegainfer 是什麼?

純 Rust + CUDA LLM 推論引擎 — 無需 PyTorch,相容 OpenAI,支援 Qwen3 至 Kimi-K2