vllm-ascend

社群維護的 vLLM 華為昇騰硬體外掛

vllm-ascend 是什麼?

社群維護的 vLLM 華為昇騰硬體外掛。注意:此為社群維護版本,非官方支援。

vllm-ascend 概覽

這是什麼

vLLM Ascend(vllm-ascend)是一個由社群維護的硬體外掛,用於在華為昇騰 NPU 上無縫執行 vLLM。這是 vLLM 社群中支援昇騰後端的推薦方式。它遵循 RFC: Hardware pluggable 的原則,提供硬體可插拔介面,將昇騰 NPU 與 vLLM 的整合解耦。透過 vLLM Ascend 外掛,包括 Transformer 類、混合專家(MoE)、嵌入、多模態 LLM 在內的熱門開源模型,可以在昇騰 NPU 上無縫執行。

主要功能

  • 硬體可插拔介面,將昇騰 NPU 整合與 vLLM 解耦。
  • 支援 Transformer 類、混合專家(MoE)、嵌入和多模態 LLM。
  • 由社群維護,定期舉行週會並鼓勵貢獻。
  • 多個維護分支,對應不同 vLLM 版本(main、releases/v0.13.0、releases/v0.18.0、releases/v0.23.0、releases/v0.30.0、rfc/)。
  • 對 vLLM main 分支及特定版本標籤提供 CI 承諾。
  • 官方文件與支援矩陣,列出支援的模型與功能。

使用情境

在華為昇騰 NPU 硬體上執行 vLLM,用於大型語言模型的推論與部署。適合需要利用昇騰 NPU 運算資源進行開發、測試或生產工作負載的使用者。可用於微調、評估、強化學習(RL)和部署場景,如 LLaMA-Factory、verl、TRL 和 GPUStack 的使用者故事所示。

快速開始

請參閱儲存庫 README 以取得詳細的安裝與快速入門說明。建議使用的版本為 v0.30.0(最新穩定版)和 v0.23.0(穩定版)。先決條件包括:Atlas 800I A2 系列、Atlas 800I A3 系列、Atlas 300I Duo、950PR&950DT 產品硬體;Linux 作業系統;Python == 3.12;CANN == 9.2.1;PyTorch == 2.10.0、TorchNPU == 2.10.0.post7;以及與 vllm-ascend 相同版本的 vLLM。

授權與價格

採用 Apache License 2.0 授權。此專案為開源,未說明價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/vllm-projectvllm-ascend.svg)](https://yunodb.com/tools/vllm-projectvllm-ascend?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/vllm-projectvllm-ascend?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/vllm-projectvllm-ascend.svg" alt="Featured on YunoDB" height="20"></a>