OmAgent

[EMNLP-2024] 建構多模態語言代理,快速實現原型與生產部署

OmAgent 是什麼?

[EMNLP-2024] 建構多模態語言代理,快速實現原型與生產部署

OmAgent 概覽

這是什麼

OmAgent 是一個用於建立多模態語言代理的 Python 函式庫。它旨在保持函式庫的簡單性,避免其他代理框架常見的過多開銷。該函式庫將複雜的工程(如工作者協調、任務佇列、節點最佳化)封裝在幕後,只留下一個超級易用的介面來定義代理。它還提供了可重複使用的代理元件抽象,讓你可以透過組合基本元件來建構複雜的代理。OmAgent 包含了多模態代理所需的特性,例如原生支援 VLM 模型、影片處理和行動裝置連線,讓開發者和研究人員能夠輕鬆建立可以推理文字、圖片、影片和音訊輸入的代理。

主要功能

  • 靈活的代理架構,提供基於圖形的工作流程編排引擎和多種記憶體類型,實現情境推理。
  • 原生多模態互動支援,包括 VLM 模型、即時 API、電腦視覺模型和行動裝置連線。
  • 一系列最先進的單模態和多模態代理演算法,超越簡單的 LLM 推理,例如 ReAct、CoT、SC-CoT。
  • 支援使用 Ollama 或 LocalAI 進行模型的本地部署。
  • 完全分散式架構,支援自訂擴展。也支援精簡模式,無需部署中介軟體。

使用情境

OmAgent 可用於建立影片問答代理,對上傳的影片回答問題,如提供的範例專案所示。它也可以用於在兩分鐘內建立類似 Google Astral 的個人行動助理。此外,它支援代理運算子,這些是可重複使用的代理工作流程,例如 CoT 和 ReAct,允許在相同的 LLM 選擇和測試資料集下比較各種推理代理運算子的表現。

快速開始

需求:Python >= 3.10。 使用 pip 安裝 omagent_core: bash pip install omagent-core 或從原始碼安裝最新版本: bash pip install -e omagent-core 快速開始,產生 container.yaml 檔案: bash cd examples/step1_simpleVQA python compile_container.py 在 configs/llms/gpt.yml 中設定你的 LLM 設定,並設定你的 OpenAI API 金鑰: bash export custom_openai_key='your_openai_api_key' export custom_openai_endpoint='your_openai_endpoint' 使用網頁 GUI 執行簡單的 VQA 示範: bash cd examples/step1_simpleVQA python run_webpage.py 在 http://127.0.0.1:7860 開啟網頁。

授權與價格

授權為 Apache-2.0。定價類型為開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/om-ai-labomagent.svg)](https://yunodb.com/tools/om-ai-labomagent?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/om-ai-labomagent?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/om-ai-labomagent.svg" alt="Featured on YunoDB" height="20"></a>