tokenspeed

TokenSpeed是一個光速LLM推理引擎。

tokenspeed 是什麼?

TokenSpeed是一個光速LLM推理引擎,提供極速推論效能。

tokenspeed 概覽

這是什麼

TokenSpeed 是一個專為代理型工作負載設計的開源 LLM 推理引擎,由非營利組織 LightSeek Foundation 開發,並已加入 PyTorch Ecosystem Landscape。該引擎將控制平面與執行平面分離:控制平面以 C++ 實作為有限狀態機,透過型別系統在編譯期強制安全資源管理;執行平面則以 Python 實作,便於快速迭代。TokenSpeed 將核心視為模組化子系統,提供可攜式公開 API 與集中式註冊表,並透過可擴展的外掛機制支援異構加速器。

主要功能

  • 控制平面以 C++ 實作為有限狀態機,在編譯期確保請求生命週期與 KV 快取狀態的安全性。
  • 執行平面以 Python 實作,降低開發門檻並加速迭代。
  • 可插拔、分層的核心系統,具備可攜式公開 API 與集中式註冊表,包含針對 Blackwell 的 MLA(多頭潛在注意力)實作。
  • 使用 Rust 透過 msgpack 協定驅動 SMG 與 Dynamo 作為進入點,請求路徑上無 Python。
  • 由非營利組織 LightSeek Foundation 支援,並獲得 NVIDIA 與 AMD 等廠商的硬體與工程支援。
  • 專為代理型工作負載設計,效能可與 TensorRT-LLM 媲美,易用性類似 vLLM。

使用情境

TokenSpeed 適用於生產環境中的代理型工作負載,例如在多輪代理場景中服務大型語言模型。它可用於在 NVIDIA 與 AMD GPU 上部署 Kimi K3、Qwen3.8-Flash-Next 等模型,適合需要高吞吐量與低延遲的即時 AI 代理與互動式應用。

快速開始

請參閱儲存庫的 README 以取得安裝與快速開始說明。

授權與價格

TokenSpeed 採用 MIT 授權條款,為開源專案。價格未說明。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/lightseekorgtokenspeed.svg)](https://yunodb.com/tools/lightseekorgtokenspeed?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/lightseekorgtokenspeed?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/lightseekorgtokenspeed.svg" alt="Featured on YunoDB" height="20"></a>