lmdeploy
LMDeploy 是用於壓縮、部署和服務大型語言模型的工具包。
lmdeploy 是什麼?
LMDeploy 是用於壓縮、部署和服務大型語言模型的工具包。
lmdeploy 概覽
這是什麼
LMDeploy 是一個用於壓縮、部署和服務大型語言模型(LLM)的工具包,由 MMRazor 和 MMDeploy 團隊開發。該專案提供兩個推理引擎:TurboMind 專注於效能最佳化,而 PyTorch 引擎則完全以 Python 開發,旨在降低開發者的使用門檻。
主要功能
- 高效推理:透過持續批次處理、區塊化 KV 快取、動態分割與融合、張量平行處理以及高效能 CUDA 核心,實現比 vLLM 高出 1.8 倍的請求吞吐量。
- 有效量化:支援僅權重量化與 K/V 量化;4 位元推理效能比 FP16 快 2.4 倍。量化品質已透過 OpenCompass 評估確認。
- 簡便的分佈式伺服器:透過請求分發服務,可輕鬆在多台機器與多張顯示卡上部署多模型服務。
- 出色的相容性:支援同時使用 KV Cache Quant、AWQ 與自動前綴快取。
使用情境
LMDeploy 適用於在生產環境中壓縮、部署和服務大型語言模型。可用於離線推理管線、線上服務,以及多模型、多機器、多顯示卡的推理服務。支援多種 LLM 與 VLM,包括 Llama、InternLM、Qwen、DeepSeek 等。
快速開始
在 conda 環境(Python 3.10–3.13)中使用 pip 安裝 LMDeploy:shellconda create -n lmdeploy python=3.12 -yconda activate lmdeploypip install lmdeploy
授權與價格
LMDeploy 採用 Apache-2.0 授權條款開源。價格未說明,該專案被列為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。