cactus
次50MB的代理、語音與視覺智慧,專為消費性裝置打造。
cactus 是什麼?
次50MB的代理、語音與視覺智慧,專為消費性裝置打造。此軟體採用 Apache-2.0 授權。
cactus 概覽
這是什麼
Needle 是一個專為小型裝置設計的自動化基礎模型,適用於手機、穿戴式裝置、智慧家庭設備、機器人、汽車和微控制器。整個模型是一個單一的 8–29 MB 二進位檔,基於簡單注意力網路架構。它犧牲了一般對話能力,以在手機工具呼叫和結構化擷取方面獲得優於更大模型的表現。
主要功能
- 工具呼叫:根據應用程式暴露的函式,Needle 選取正確的函式並根據使用者輸入填入每個參數。多個請求會依序產生多次呼叫;不支援的請求則回傳空列表。
- 結構化擷取:接受定義好的結構和雜亂文字,回傳型別化的欄位,例如發票、訂位、通知或表單。解碼語法保證輸出可解析,且擷取可泛化至分類任務。
- 文字嵌入:同一個模型為句子回傳一個向量,支援在裝置端進行搜尋、匹配和路由。
- 語音(Whistle):一個語音轉文字模型,與 Needle 共用容器和引擎。可直接處理音訊輸入,並輸出工具呼叫。
使用情境
Needle 適用於資源受限裝置上的自動化任務,這類裝置無法執行通用對話模型。範例使用情境包括語音控制的智慧家庭裝置、穿戴式助理、機器人控制、汽車介面,以及手機上的發票或表單本地端資料擷取。
快速開始
shpip install cactus-needle安裝後,匯入 needle,使用 @needle.tool 裝飾函式,並建立一個包含工具列表的 Needle 代理。呼叫 run() 並傳入使用者查詢以執行函式並回傳結果。回應是一個 JSON 物件,包含 function_calls、reasoning 和一個校準過的 confidence 分數。離題的請求會回傳空列表。
授權與價格
Needle 採用 Apache-2.0 授權,為開源專案。未說明價格資訊。
內容整理自該專案公開的 README 與儲存庫資訊。