OmAgent
[EMNLP-2024] 建構多模態語言代理,快速實現原型與生產部署
OmAgent 是什麼?
[EMNLP-2024] 建構多模態語言代理,快速實現原型與生產部署
OmAgent 概覽
這是什麼
OmAgent 是一個用於建立多模態語言代理的 Python 函式庫。它旨在保持函式庫的簡單性,避免其他代理框架常見的過多開銷。該函式庫將複雜的工程(如工作者協調、任務佇列、節點最佳化)封裝在幕後,只留下一個超級易用的介面來定義代理。它還提供了可重複使用的代理元件抽象,讓你可以透過組合基本元件來建構複雜的代理。OmAgent 包含了多模態代理所需的特性,例如原生支援 VLM 模型、影片處理和行動裝置連線,讓開發者和研究人員能夠輕鬆建立可以推理文字、圖片、影片和音訊輸入的代理。
主要功能
- 靈活的代理架構,提供基於圖形的工作流程編排引擎和多種記憶體類型,實現情境推理。
- 原生多模態互動支援,包括 VLM 模型、即時 API、電腦視覺模型和行動裝置連線。
- 一系列最先進的單模態和多模態代理演算法,超越簡單的 LLM 推理,例如 ReAct、CoT、SC-CoT。
- 支援使用 Ollama 或 LocalAI 進行模型的本地部署。
- 完全分散式架構,支援自訂擴展。也支援精簡模式,無需部署中介軟體。
使用情境
OmAgent 可用於建立影片問答代理,對上傳的影片回答問題,如提供的範例專案所示。它也可以用於在兩分鐘內建立類似 Google Astral 的個人行動助理。此外,它支援代理運算子,這些是可重複使用的代理工作流程,例如 CoT 和 ReAct,允許在相同的 LLM 選擇和測試資料集下比較各種推理代理運算子的表現。
快速開始
需求:Python >= 3.10。 使用 pip 安裝 omagent_core: bash pip install omagent-core 或從原始碼安裝最新版本: bash pip install -e omagent-core 快速開始,產生 container.yaml 檔案: bash cd examples/step1_simpleVQA python compile_container.py 在 configs/llms/gpt.yml 中設定你的 LLM 設定,並設定你的 OpenAI API 金鑰: bash export custom_openai_key='your_openai_api_key' export custom_openai_endpoint='your_openai_endpoint' 使用網頁 GUI 執行簡單的 VQA 示範: bash cd examples/step1_simpleVQA python run_webpage.py 在 http://127.0.0.1:7860 開啟網頁。
授權與價格
授權為 Apache-2.0。定價類型為開源。
內容整理自該專案公開的 README 與儲存庫資訊。