engine

2位元量化、核心與執行環境,專為消費性裝置設計。

engine 是什麼?

2位元量化、核心與執行環境,專為消費性裝置設計。 此為AI類別,授權狀態未聲明。

engine 概覽

這是什麼

Cactus 是一個專為行動裝置與穿戴式裝置設計的混合邊緣雲端 AI 引擎。它提供與 OpenAI 相容的文字、語音與視覺 API。引擎由零拷貝計算圖(Cactus Graph)、針對多種裝置的 CPU/GPU 核心(Cactus Kernels)以及自訂的旋轉式量化技術(Cactus Quants)所組成。

主要功能

  • 與 OpenAI 相容的文字、語音與視覺 API
  • 零拷貝計算圖,實現高效的張量運算
  • 針對 Apple、Samsung、Pixel 等裝置最佳化的 CPU/GPU 核心
  • 自訂旋轉式量化(Cactus Quants),支援 4 位元至 1 位元
  • 混合邊緣雲端推論,根據本地模型信心度自動切換至雲端
  • 支援從 HuggingFace 轉換模型(透過 cactus convert)
  • 提供 Swift、Kotlin、Flutter、React Native、Python 與 Rust 的繫結

使用情境

Cactus 適用於在手機、平板、穿戴式裝置與筆記型電腦等消費性裝置上執行 AI 模型。支援聊天補全、串流、工具呼叫、語音轉錄、嵌入、RAG、視覺與向量索引。混合架構可將困難查詢自動路由至雲端。

快速開始

在 macOS 上,透過 Homebrew 安裝:brew install cactus-compute/cactus/cactuscactus run在 Linux(Ubuntu/Debian)上,複製儲存庫並執行設定腳本:git clone https://github.com/cactus-compute/cactus && cd cactussource ./setup

授權與價格

提供的元資料與 README 中未說明授權條款。此專案標示為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/cactus-computeengine.svg)](https://yunodb.com/tools/cactus-computeengine?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/cactus-computeengine?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/cactus-computeengine.svg" alt="Featured on YunoDB" height="20"></a>