FastDeploy
基於 PaddlePaddle 的高效能推論與部署工具套件,專為大型語言模型與視覺語言模型設計
FastDeploy 是什麼?
基於 PaddlePaddle 的高效能推論與部署工具套件,專為大型語言模型與視覺語言模型設計
FastDeploy 概覽
這是什麼
FastDeploy 是基於飛槳(PaddlePaddle)的大語言模型(LLM)與視覺語言模型(VLM)推理部署工具包,提供開箱即用的生產級部署方案。核心技術特性包括負載均衡式 PD 分解、統一 KV 快取傳輸、OpenAI API 服務與 vLLM 相容、全量化格式支援、高級加速技術以及多硬體支援。
主要功能
- 負載均衡式 PD 分解,支援上下文快取與動態實例角色切換 - 統一 KV 快取傳輸庫,支援智慧 NVLink/RDMA 選擇 - OpenAI API 服務與 vLLM 相容,單命令部署 - 全量化格式支援:W8A16、W8A8、W4A16、W4A8、W2A16、FP8 - 高級加速技術:推測解碼、多令牌預測(MTP)及分塊預填充 - 多硬體支援:NVIDIA GPU、崑崙芯 XPU、海光 DCU、天數智芯 GPU、燧原 GCU、沐曦 GPU、英特爾 Gaudi
使用情境
FastDeploy 適用於需要高吞吐量與低延遲的 LLM 與 VLM 生產環境部署。可用於離線推理、線上服務,以及受益於 PD 分離、推測解碼、前綴快取和負載均衡等進階技術的場景。
快速開始
請參閱儲存庫 README 以取得安裝說明。
授權與價格
FastDeploy 採用 Apache-2.0 授權,為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。