FastDeploy

基於 PaddlePaddle 的高效能推論與部署工具套件,專為大型語言模型與視覺語言模型設計

FastDeploy 是什麼?

基於 PaddlePaddle 的高效能推論與部署工具套件,專為大型語言模型與視覺語言模型設計

FastDeploy 概覽

這是什麼

FastDeploy 是基於飛槳(PaddlePaddle)的大語言模型(LLM)與視覺語言模型(VLM)推理部署工具包,提供開箱即用的生產級部署方案。核心技術特性包括負載均衡式 PD 分解、統一 KV 快取傳輸、OpenAI API 服務與 vLLM 相容、全量化格式支援、高級加速技術以及多硬體支援。

主要功能

  • 負載均衡式 PD 分解,支援上下文快取與動態實例角色切換 - 統一 KV 快取傳輸庫,支援智慧 NVLink/RDMA 選擇 - OpenAI API 服務與 vLLM 相容,單命令部署 - 全量化格式支援:W8A16、W8A8、W4A16、W4A8、W2A16、FP8 - 高級加速技術:推測解碼、多令牌預測(MTP)及分塊預填充 - 多硬體支援:NVIDIA GPU、崑崙芯 XPU、海光 DCU、天數智芯 GPU、燧原 GCU、沐曦 GPU、英特爾 Gaudi

使用情境

FastDeploy 適用於需要高吞吐量與低延遲的 LLM 與 VLM 生產環境部署。可用於離線推理、線上服務,以及受益於 PD 分離、推測解碼、前綴快取和負載均衡等進階技術的場景。

快速開始

請參閱儲存庫 README 以取得安裝說明。

授權與價格

FastDeploy 採用 Apache-2.0 授權,為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/paddlepaddlefastdeploy.svg)](https://yunodb.com/tools/paddlepaddlefastdeploy?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/paddlepaddlefastdeploy?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/paddlepaddlefastdeploy.svg" alt="Featured on YunoDB" height="20"></a>