sglang
SGLang 是一個高效能的大型語言模型與多模態模型服務框架。
sglang 是什麼?
SGLang 是一個高效能的大型語言模型與多模態模型服務框架。
sglang 概覽
這是什麼
SGLang 是一個開源的推論框架,支援大型語言模型、視覺語言模型與擴散模型。它針對代理型工作負載、大規模服務與強化學習的 rollout 生成進行最佳化。內建的 SGLang Diffusion 影像與影片生成引擎也包含在同一個儲存庫與 Python 套件中。
主要功能
- 開源推論框架,支援大型語言模型、視覺語言模型與擴散模型。
- 針對代理型工作負載、大規模服務與強化學習 rollout 生成進行最佳化。
- 內建影像與影片生成引擎(SGLang Diffusion)。
- 支援多種硬體:NVIDIA(B200、H100、A100、RTX 系列等)、AMD(Instinct MI300X 等)、Google TPU(v6e、v7)、Intel(Arc GPU、Xeon CPU)、Apple Silicon(Mac 透過 Metal/MLX)、華為昇騰(A2、A3 等)以及 Moore Threads(MTT S5000)。
- 透過 SGLang-TorchTPU(基於 PyTorch)與 SGL-JAX(基於 JAX)提供 TPU 服務。
- 生態系統包含音訊模型服務(SGLang Omni)、投機解碼(SpecForge)、強化學習訓練框架與部署工具。
使用情境
- 為生產環境提供大型語言模型、視覺語言模型與擴散模型的服務。
- 需要快速推論與工具使用的代理型工作負載。
- 搭配路由、負載平衡與叢集編排的大規模服務。
- 強化學習的 rollout 生成。
- 使用擴散模型進行影像與影片生成。
- 透過 SGLang Omni 提供文字轉語音(TTS)與自動語音辨識(ASR)的音訊模型服務。
- 透過 SpecForge 使用訓練好的草稿模型進行投機解碼。
快速開始
拉取 Docker 映像檔:bashdocker pull lmsysorg/sglang:latest或者,在已啟用的 Python 環境中使用 uv 安裝 SGLang:bashuv pip install --prerelease=allow sglang安裝後即可啟動模型。請參閱儲存庫的 README 以取得快速入門與操作手冊說明。
授權與價格
授權條款:Apache-2.0。價格:開源(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。