tokenspeed
TokenSpeed是一個光速LLM推理引擎。
tokenspeed 是什麼?
TokenSpeed是一個光速LLM推理引擎,提供極速推論效能。
tokenspeed 概覽
這是什麼
TokenSpeed 是一個專為代理型工作負載設計的開源 LLM 推理引擎,由非營利組織 LightSeek Foundation 開發,並已加入 PyTorch Ecosystem Landscape。該引擎將控制平面與執行平面分離:控制平面以 C++ 實作為有限狀態機,透過型別系統在編譯期強制安全資源管理;執行平面則以 Python 實作,便於快速迭代。TokenSpeed 將核心視為模組化子系統,提供可攜式公開 API 與集中式註冊表,並透過可擴展的外掛機制支援異構加速器。
主要功能
- 控制平面以 C++ 實作為有限狀態機,在編譯期確保請求生命週期與 KV 快取狀態的安全性。
- 執行平面以 Python 實作,降低開發門檻並加速迭代。
- 可插拔、分層的核心系統,具備可攜式公開 API 與集中式註冊表,包含針對 Blackwell 的 MLA(多頭潛在注意力)實作。
- 使用 Rust 透過 msgpack 協定驅動 SMG 與 Dynamo 作為進入點,請求路徑上無 Python。
- 由非營利組織 LightSeek Foundation 支援,並獲得 NVIDIA 與 AMD 等廠商的硬體與工程支援。
- 專為代理型工作負載設計,效能可與 TensorRT-LLM 媲美,易用性類似 vLLM。
使用情境
TokenSpeed 適用於生產環境中的代理型工作負載,例如在多輪代理場景中服務大型語言模型。它可用於在 NVIDIA 與 AMD GPU 上部署 Kimi K3、Qwen3.8-Flash-Next 等模型,適合需要高吞吐量與低延遲的即時 AI 代理與互動式應用。
快速開始
請參閱儲存庫的 README 以取得安裝與快速開始說明。
授權與價格
TokenSpeed 採用 MIT 授權條款,為開源專案。價格未說明。
內容整理自該專案公開的 README 與儲存庫資訊。