LightLLM

LightLLM 是一款基於 Python 的 LLM(大型語言模型)推論與服務框架,以輕量設計、易於擴展及高效能著稱。

LightLLM 是什麼?

LightLLM 是一款基於 Python 的 LLM(大型語言模型)推論與服務框架,以輕量設計、易於擴展及高效能著稱。

LightLLM 概覽

這是什麼

LightLLM 是一個基於 Python 的大型語言模型(LLM)推論與服務框架,以其輕量設計、易於擴展和高速度效能著稱。它整合了多個知名開源實作的優點,包括但不限於 FasterTransformer、TGI、vLLM 和 FlashAttention。

主要功能

  • 輕量設計與易於擴展。
  • 高速的 LLM 推論與服務效能。
  • 純 Python 設計,具備 token 層級的 KV Cache 管理。
  • 支援受限解碼(已獲 ACL2025 接受並獲得傑出論文獎)。
  • 包含請求排程器(已發表於 ASPLOS’25)。
  • 在單一 H200 機器上達到最快的 DeepSeek-R1 服務效能(v1.0.0 版本)。

使用情境

  • 以高吞吐量和低延遲服務大型語言模型。
  • 需要靈活、純 Python 推論框架的研究專案。
  • 需要透過確定性下推自動機進行結構化 LLM 生成的應用。
  • 在 SLA 保證下進行服務,使用過去-未來排程。

快速開始

請參閱儲存庫的 README 以取得安裝與快速開始的說明。

授權與價格

此儲存庫採用 Apache-2.0 授權。為開源軟體,未提及價格。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/modeltclightllm.svg)](https://yunodb.com/tools/modeltclightllm?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/modeltclightllm?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/modeltclightllm.svg" alt="Featured on YunoDB" height="20"></a>