OSWorld
[NeurIPS 2024] OSWorld: 在真實電腦環境中對多模態代理人進行開放式任務的基準測試
OSWorld 是什麼?
OSWorld是一個基準測試框架,旨在評估多模態代理人在真實電腦環境中執行開放式任務的能力。它透過多元化的任務設定,測試代理人如何整合視覺與文字資訊來完成複雜目標,為人工智慧領域提供重要的評量標準。
OSWorld 概覽
這是什麼
OSWorld 是一個用於評估多模態代理在真實電腦環境中執行開放式任務的基準測試,於 NeurIPS 2024 發表。該專案提供標準化的評估框架,讓代理透過螢幕截圖與低階操作(滑鼠點擊、鍵盤輸入)與實際桌面作業系統(Ubuntu、Windows)互動。基準測試包含一系列需要代理理解視覺介面並執行多步驟操作的任務。
主要功能
- 支援多種虛擬機器提供者:VMware、VirtualBox、Docker(搭配 KVM)、Modal、Daytona 和 AWS。
- 提供標準化環境,用於評估多模態代理在開放式電腦任務上的表現。
- 包含需要 Google 帳號存取與代理設定才能完整運作的基準測試任務。
- 透過 AWS 支援平行評估,可將評估時間縮短至一小時內。
- 提供初始狀態設定的預先下載檔案。
- 環境可作為獨立套件(
desktop-env)安裝,不包含基準測試任務。
使用情境
- 在真實桌面作業系統上評估多模態 AI 代理。
- 比較視覺語言模型在互動式電腦任務中的表現。
- 研究能自主操作圖形使用者介面的代理。
- 訓練與測試桌面自動化代理。
快速開始
bash# 複製 OSWorld 儲存庫git clone https://github.com/xlang-ai/OSWorld# 進入儲存庫目錄cd OSWorld# 可選:為 OSWorld 建立 Conda 環境# conda create -n osworld python=3.10# conda activate osworld# 安裝必要依賴pip install -r requirements.txt或者,安裝不含基準測試任務的環境:bashpip install desktop-env
授權與價格
本專案採用 Apache-2.0 授權,為開放原始碼且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。