chitu

高效能大型語言模型推論框架,專注於效率、彈性與可用性。

chitu 是什麼?

高效能大型語言模型推論框架,專注於效率、彈性與可用性。並未提供其他額外資訊。

chitu 概覽

這是什麼

Chitu「赤兔」是一個專注於效率、靈活性與可用性的高效能大模型推理框架。它定位為「生產級大模型推理引擎」,考量企業 AI 落地從小型實驗到大規模部署的漸進式需求。此專案託管於 GitHub 上的 thu-pacman/chitu 儲存庫。

主要功能

  • 支援多元算力:涵蓋 NVIDIA 最新旗艦到舊款系列,並為國產晶片(如華為昇騰 910B、摩爾執行緒 GPU、沐曦、海光等)提供最佳化支援。
  • 全場景可伸縮:從純 CPU 部署、單 GPU 部署到多節點叢集部署,提供可擴展的解決方案。
  • 長期穩定運作:適用於實際生產環境,足以承載並發業務流量。
  • 支援 FP4 線上轉換為 FP8/BF16 的高效算子實作(例如用於 DeepSeek-R1 671B 的 FP4 量化版)。
  • 支援 CPU+GPU 異構混合推理,實現單卡推理 DeepSeek-R1 671B。
  • 提供單檔案執行檔 chitu.run,可啟動多節點、多實例、PD 分離等複雜任務。
  • 支援 DeepSeek、Qwen、GLM、Kimi 等模型。

使用情境

Chitu 適用於需要高效能與穩定性的企業 AI 部署場景。使用情境包括在生產環境中部署大型語言模型、在不同硬體(NVIDIA、國產晶片)上執行推理、從單 GPU 擴展到多節點叢集,以及針對記憶體受限模型(如 DeepSeek-R1 671B)進行 CPU+GPU 混合推理。

快速開始

建議使用 chitu.run 執行檔進行部署。請從儲存庫 Releases 頁面的 Assets 中下載。完整的安裝與使用說明請參閱儲存庫 README 中的開發手冊。

授權與價格

本專案採用 Apache License v2.0 授權條款,詳見 LICENSE 檔案。程式碼庫中亦包含來自其他開源專案的程式碼片段(程式碼中以 SPDX 格式標註授權資訊),以及遵循其他開源授權的第三方子模組,分別位於 LICENSES/ 與 third_party/ 目錄下。定價類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/thu-pacmanchitu.svg)](https://yunodb.com/tools/thu-pacmanchitu?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/thu-pacmanchitu?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/thu-pacmanchitu.svg" alt="Featured on YunoDB" height="20"></a>