engine
2位元量化、核心與執行環境,專為消費性裝置設計。
engine 是什麼?
2位元量化、核心與執行環境,專為消費性裝置設計。 此為AI類別,授權狀態未聲明。
engine 概覽
這是什麼
Cactus 是一個專為行動裝置與穿戴式裝置設計的混合邊緣雲端 AI 引擎。它提供與 OpenAI 相容的文字、語音與視覺 API。引擎由零拷貝計算圖(Cactus Graph)、針對多種裝置的 CPU/GPU 核心(Cactus Kernels)以及自訂的旋轉式量化技術(Cactus Quants)所組成。
主要功能
- 與 OpenAI 相容的文字、語音與視覺 API
- 零拷貝計算圖,實現高效的張量運算
- 針對 Apple、Samsung、Pixel 等裝置最佳化的 CPU/GPU 核心
- 自訂旋轉式量化(Cactus Quants),支援 4 位元至 1 位元
- 混合邊緣雲端推論,根據本地模型信心度自動切換至雲端
- 支援從 HuggingFace 轉換模型(透過
cactus convert) - 提供 Swift、Kotlin、Flutter、React Native、Python 與 Rust 的繫結
使用情境
Cactus 適用於在手機、平板、穿戴式裝置與筆記型電腦等消費性裝置上執行 AI 模型。支援聊天補全、串流、工具呼叫、語音轉錄、嵌入、RAG、視覺與向量索引。混合架構可將困難查詢自動路由至雲端。
快速開始
在 macOS 上,透過 Homebrew 安裝:brew install cactus-compute/cactus/cactuscactus run在 Linux(Ubuntu/Debian)上,複製儲存庫並執行設定腳本:git clone https://github.com/cactus-compute/cactus && cd cactussource ./setup
授權與價格
提供的元資料與 README 中未說明授權條款。此專案標示為開源。
內容整理自該專案公開的 README 與儲存庫資訊。