cactus

次50MB的代理、語音與視覺智慧,專為消費性裝置打造。

cactus 是什麼?

次50MB的代理、語音與視覺智慧,專為消費性裝置打造。此軟體採用 Apache-2.0 授權。

cactus 概覽

這是什麼

Needle 是一個專為小型裝置設計的自動化基礎模型,適用於手機、穿戴式裝置、智慧家庭設備、機器人、汽車和微控制器。整個模型是一個單一的 8–29 MB 二進位檔,基於簡單注意力網路架構。它犧牲了一般對話能力,以在手機工具呼叫和結構化擷取方面獲得優於更大模型的表現。

主要功能

  • 工具呼叫:根據應用程式暴露的函式,Needle 選取正確的函式並根據使用者輸入填入每個參數。多個請求會依序產生多次呼叫;不支援的請求則回傳空列表。
  • 結構化擷取:接受定義好的結構和雜亂文字,回傳型別化的欄位,例如發票、訂位、通知或表單。解碼語法保證輸出可解析,且擷取可泛化至分類任務。
  • 文字嵌入:同一個模型為句子回傳一個向量,支援在裝置端進行搜尋、匹配和路由。
  • 語音(Whistle):一個語音轉文字模型,與 Needle 共用容器和引擎。可直接處理音訊輸入,並輸出工具呼叫。

使用情境

Needle 適用於資源受限裝置上的自動化任務,這類裝置無法執行通用對話模型。範例使用情境包括語音控制的智慧家庭裝置、穿戴式助理、機器人控制、汽車介面,以及手機上的發票或表單本地端資料擷取。

快速開始

shpip install cactus-needle安裝後,匯入 needle,使用 @needle.tool 裝飾函式,並建立一個包含工具列表的 Needle 代理。呼叫 run() 並傳入使用者查詢以執行函式並回傳結果。回應是一個 JSON 物件,包含 function_calls、reasoning 和一個校準過的 confidence 分數。離題的請求會回傳空列表。

授權與價格

Needle 採用 Apache-2.0 授權,為開源專案。未說明價格資訊。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/cactus-computecactus.svg)](https://yunodb.com/tools/cactus-computecactus?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/cactus-computecactus?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/cactus-computecactus.svg" alt="Featured on YunoDB" height="20"></a>