vllm.cpp
社群導向、一比一 vLLM 相容引擎，以 C++ 實現（連續批次處理、分頁 KV），並加入 GGUF、RadixAttention、快取感知排程等額外功能
vllm.cpp 是什麼？
社群導向、一比一相容 vLLM 的引擎，以 C++ 開發，具備連續批次處理與分頁 KV 功能，並加入 GGUF、RadixAttention、快取感知排程等額外特色
你是這個專案的維護者嗎？展示它已收錄於 YunoDB。
Markdown
[](https://yunodb.com/tools/localai-orgvllmcpp?utm_source=github&utm_medium=badge)HTML
<a href="https://yunodb.com/tools/localai-orgvllmcpp?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/localai-orgvllmcpp.svg" alt="Featured on YunoDB" height="20"></a>繼續探索
查看所有替代工具 
