vllm-ascend
社群維護的 vLLM 華為昇騰硬體外掛
vllm-ascend 是什麼?
社群維護的 vLLM 華為昇騰硬體外掛。注意:此為社群維護版本,非官方支援。
vllm-ascend 概覽
這是什麼
vLLM Ascend(vllm-ascend)是一個由社群維護的硬體外掛,用於在華為昇騰 NPU 上無縫執行 vLLM。這是 vLLM 社群中支援昇騰後端的推薦方式。它遵循 RFC: Hardware pluggable 的原則,提供硬體可插拔介面,將昇騰 NPU 與 vLLM 的整合解耦。透過 vLLM Ascend 外掛,包括 Transformer 類、混合專家(MoE)、嵌入、多模態 LLM 在內的熱門開源模型,可以在昇騰 NPU 上無縫執行。
主要功能
- 硬體可插拔介面,將昇騰 NPU 整合與 vLLM 解耦。
- 支援 Transformer 類、混合專家(MoE)、嵌入和多模態 LLM。
- 由社群維護,定期舉行週會並鼓勵貢獻。
- 多個維護分支,對應不同 vLLM 版本(main、releases/v0.13.0、releases/v0.18.0、releases/v0.23.0、releases/v0.30.0、rfc/)。
- 對 vLLM main 分支及特定版本標籤提供 CI 承諾。
- 官方文件與支援矩陣,列出支援的模型與功能。
使用情境
在華為昇騰 NPU 硬體上執行 vLLM,用於大型語言模型的推論與部署。適合需要利用昇騰 NPU 運算資源進行開發、測試或生產工作負載的使用者。可用於微調、評估、強化學習(RL)和部署場景,如 LLaMA-Factory、verl、TRL 和 GPUStack 的使用者故事所示。
快速開始
請參閱儲存庫 README 以取得詳細的安裝與快速入門說明。建議使用的版本為 v0.30.0(最新穩定版)和 v0.23.0(穩定版)。先決條件包括:Atlas 800I A2 系列、Atlas 800I A3 系列、Atlas 300I Duo、950PR&950DT 產品硬體;Linux 作業系統;Python == 3.12;CANN == 9.2.1;PyTorch == 2.10.0、TorchNPU == 2.10.0.post7;以及與 vllm-ascend 相同版本的 vLLM。
授權與價格
採用 Apache License 2.0 授權。此專案為開源,未說明價格。
內容整理自該專案公開的 README 與儲存庫資訊。