self-operating-computer

一個讓多模態模型操作電腦的框架。

self-operating-computer 是什麼?

一個讓多模態模型操作電腦的框架。。注意:原summary末尾有句点,翻译后也保留句点。

self-operating-computer 概覽

這是什麼

Self-Operating Computer Framework 是一個讓多模態模型操作電腦的框架。它使用與人類操作員相同的輸入與輸出方式:模型觀看螢幕,然後決定一系列滑鼠和鍵盤動作來達成目標。該框架於 2023 年 11 月發布,是最早實現完整電腦操作的範例之一。

主要功能

  • 相容於多種多模態模型。
  • 已整合 GPT-4o、GPT-4.1、o1、Gemini Pro Vision、Claude 3、Qwen-VL 和 LLaVa。
  • 未來計劃支援更多模型。
  • 支援語音模式輸入目標。
  • 光學字元辨識(OCR)模式,可偵測可點擊元素。
  • Set-of-Mark(SoM)提示模式,增強視覺定位能力。

使用情境

讓多模態 AI 模型透過觀察螢幕來控制滑鼠和鍵盤,以自動化電腦操作。適合測試和實驗不同模型執行電腦操作的能力。

快速開始

安裝專案:

pip install self-operating-computer

執行專案:

operate

依照提示輸入 OpenAI 金鑰。在 macOS 上,需授予 Terminal 應用程式「螢幕錄製」和「輔助使用」權限。

授權與價格

授權:MIT。價格:開源(免費)。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/othersideaiself-operating-computer.svg)](https://yunodb.com/tools/othersideaiself-operating-computer?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/othersideaiself-operating-computer?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/othersideaiself-operating-computer.svg" alt="Featured on YunoDB" height="20"></a>