vllm.cpp
社群導向、一比一 vLLM 相容引擎，以 C++ 實現（連續批次處理、分頁 KV），並加入 GGUF、RadixAttention、快取感知排程等額外功能
vllm.cpp 是什麼？
社群導向、一比一相容 vLLM 的引擎，以 C++ 開發，具備連續批次處理與分頁 KV 功能，並加入 GGUF、RadixAttention、快取感知排程等額外特色
繼續探索
查看所有替代工具
社群導向、一比一 vLLM 相容引擎，以 C++ 實現（連續批次處理、分頁 KV），並加入 GGUF、RadixAttention、快取感知排程等額外功能
社群導向、一比一相容 vLLM 的引擎，以 C++ 開發，具備連續批次處理與分頁 KV 功能，並加入 GGUF、RadixAttention、快取感知排程等額外特色
