self-operating-computer
一個讓多模態模型操作電腦的框架。
self-operating-computer 是什麼?
一個讓多模態模型操作電腦的框架。。注意:原summary末尾有句点,翻译后也保留句点。
self-operating-computer 概覽
這是什麼
Self-Operating Computer Framework 是一個讓多模態模型操作電腦的框架。它使用與人類操作員相同的輸入與輸出方式:模型觀看螢幕,然後決定一系列滑鼠和鍵盤動作來達成目標。該框架於 2023 年 11 月發布,是最早實現完整電腦操作的範例之一。
主要功能
- 相容於多種多模態模型。
- 已整合 GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL 和 LLaVa。
- 未來計劃支援更多模型。
- 支援語音模式輸入目標。
- 光學字元辨識(OCR)模式,可偵測可點擊元素。
- Set-of-Mark(SoM)提示模式,增強視覺定位能力。
使用情境
讓多模態 AI 模型透過觀察螢幕來控制滑鼠和鍵盤,以自動化電腦操作。適合測試和實驗不同模型執行電腦操作的能力。
快速開始
安裝專案:
pip install self-operating-computer
執行專案:
operate
依照提示輸入 OpenAI 金鑰。在 macOS 上,需授予 Terminal 應用程式「螢幕錄製」和「輔助使用」權限。
授權與價格
授權:MIT。價格:開源(免費)。
內容整理自該專案公開的 README 與儲存庫資訊。