lmdeploy

LMDeploy 是用於壓縮、部署和服務大型語言模型的工具包。

lmdeploy 是什麼?

LMDeploy 是用於壓縮、部署和服務大型語言模型的工具包。

lmdeploy 概覽

這是什麼

LMDeploy 是一個用於壓縮、部署和服務大型語言模型(LLM)的工具包,由 MMRazor 和 MMDeploy 團隊開發。該專案提供兩個推理引擎:TurboMind 專注於效能最佳化,而 PyTorch 引擎則完全以 Python 開發,旨在降低開發者的使用門檻。

主要功能

  • 高效推理:透過持續批次處理、區塊化 KV 快取、動態分割與融合、張量平行處理以及高效能 CUDA 核心,實現比 vLLM 高出 1.8 倍的請求吞吐量。
  • 有效量化:支援僅權重量化與 K/V 量化;4 位元推理效能比 FP16 快 2.4 倍。量化品質已透過 OpenCompass 評估確認。
  • 簡便的分佈式伺服器:透過請求分發服務,可輕鬆在多台機器與多張顯示卡上部署多模型服務。
  • 出色的相容性:支援同時使用 KV Cache Quant、AWQ 與自動前綴快取。

使用情境

LMDeploy 適用於在生產環境中壓縮、部署和服務大型語言模型。可用於離線推理管線、線上服務,以及多模型、多機器、多顯示卡的推理服務。支援多種 LLM 與 VLM,包括 Llama、InternLM、Qwen、DeepSeek 等。

快速開始

在 conda 環境(Python 3.10–3.13)中使用 pip 安裝 LMDeploy:shellconda create -n lmdeploy python=3.12 -yconda activate lmdeploypip install lmdeploy

授權與價格

LMDeploy 採用 Apache-2.0 授權條款開源。價格未說明,該專案被列為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/internlmlmdeploy.svg)](https://yunodb.com/tools/internlmlmdeploy?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/internlmlmdeploy?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/internlmlmdeploy.svg" alt="Featured on YunoDB" height="20"></a>