vllm
大型語言模型專用,高吞吐量且記憶體高效的推論與服務引擎
vllm 是什麼?
專為大型語言模型設計的高吞吐量、記憶體效率推論與服務引擎。許可證:Apache-2.0。
vllm 概覽
這是什麼
vLLM 是一個快速且易於使用的 LLM 推論與服務函式庫。最初由加州大學柏克萊分校的 Sky Computing Lab 開發,現為開源專案,由來自超過 2000 位貢獻者、數十個學術機構與公司組成的多元社群維護。
主要功能
- 最先進的服務吞吐量,透過 PagedAttention 高效管理注意力鍵值記憶體
- 連續批次處理、區塊預填充、前綴快取,以及推測解碼(n-gram、suffix、EAGLE、DFlash)
- 使用分段與完整 CUDA/HIP 圖形加速模型執行,支援量化(FP8、INT8、INT4、GPTQ/AWQ、GGUF 等)
- 最佳化注意力核心(FlashAttention、FlashInfer、TRTLLM-GEN、FlashMLA、Triton)與 GEMM/MoE 核心(使用 CUTLASS、TRTLLM-GEN、CuTeDSL)
- 無縫整合 200 多種 Hugging Face 模型架構,包括純解碼器、MoE、混合、多模態、嵌入與獎勵模型
- 相容 OpenAI 的 API 伺服器,另支援 Anthropic Messages API 與 gRPC;串流輸出;結構化輸出生成;工具呼叫與推理解析器
- 支援張量、管線、資料、專家與上下文並行的分散式推論;支援 NVIDIA、AMD、Intel GPU、x86/ARM/PowerPC CPU,以及多種硬體外掛(Google TPU、Intel Gaudi、IBM Spyre、Huawei Ascend 等)
使用情境
vLLM 用於生產環境中的高吞吐量 LLM 服務,能在各種硬體上高效執行大型語言模型的推論。支援聊天機器人、程式碼生成、多模態推理與檢索增強生成等應用,並可處理結構化輸出與工具呼叫。
快速開始
bashuv pip install vllmvllm download-kernels # 預編譯核心以加速啟動
授權與價格
vLLM 採用 Apache-2.0 授權條款開源。價格未說明;在授權條款下可免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。