chitu
高效能大型語言模型推論框架,專注於效率、彈性與可用性。
chitu 是什麼?
高效能大型語言模型推論框架,專注於效率、彈性與可用性。並未提供其他額外資訊。
chitu 概覽
這是什麼
Chitu「赤兔」是一個專注於效率、靈活性與可用性的高效能大模型推理框架。它定位為「生產級大模型推理引擎」,考量企業 AI 落地從小型實驗到大規模部署的漸進式需求。此專案託管於 GitHub 上的 thu-pacman/chitu 儲存庫。
主要功能
- 支援多元算力:涵蓋 NVIDIA 最新旗艦到舊款系列,並為國產晶片(如華為昇騰 910B、摩爾執行緒 GPU、沐曦、海光等)提供最佳化支援。
- 全場景可伸縮:從純 CPU 部署、單 GPU 部署到多節點叢集部署,提供可擴展的解決方案。
- 長期穩定運作:適用於實際生產環境,足以承載並發業務流量。
- 支援 FP4 線上轉換為 FP8/BF16 的高效算子實作(例如用於 DeepSeek-R1 671B 的 FP4 量化版)。
- 支援 CPU+GPU 異構混合推理,實現單卡推理 DeepSeek-R1 671B。
- 提供單檔案執行檔
chitu.run,可啟動多節點、多實例、PD 分離等複雜任務。 - 支援 DeepSeek、Qwen、GLM、Kimi 等模型。
使用情境
Chitu 適用於需要高效能與穩定性的企業 AI 部署場景。使用情境包括在生產環境中部署大型語言模型、在不同硬體(NVIDIA、國產晶片)上執行推理、從單 GPU 擴展到多節點叢集,以及針對記憶體受限模型(如 DeepSeek-R1 671B)進行 CPU+GPU 混合推理。
快速開始
建議使用 chitu.run 執行檔進行部署。請從儲存庫 Releases 頁面的 Assets 中下載。完整的安裝與使用說明請參閱儲存庫 README 中的開發手冊。
授權與價格
本專案採用 Apache License v2.0 授權條款,詳見 LICENSE 檔案。程式碼庫中亦包含來自其他開源專案的程式碼片段(程式碼中以 SPDX 格式標註授權資訊),以及遵循其他開源授權的第三方子模組,分別位於 LICENSES/ 與 third_party/ 目錄下。定價類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。