CyberVerse
自託管、即時數位人類代理平台。使用 WebRTC、角色記憶、工具、RAG 及可選的數位人類影片,打造語音優先的 AI 代理。
CyberVerse 是什麼?
自託管、即時數位人類代理平台。使用 WebRTC、角色記憶、工具、RAG 及可選的數位人類影片,打造語音優先的 AI 代理。
CyberVerse 概覽
這是什麼
CyberVerse 是一個開源、自託管的即時數位人類代理平台。它利用 WebRTC 實現低延遲通訊,並結合角色記憶、工具、檢索增強生成(RAG)以及可選的數位人類影片功能,幫助開發者建立以語音互動為核心的 AI 代理。該平台旨在創造能夠即時看、聽、說,類似於與真人進行視訊通話的互動式 AI 角色。
主要功能
- 即時數位人類影片互動:只需一張照片,即可建立準備好進行全雙工視訊對話的數位人類。平台整合了本地模型(FlashHead、LiveAct)與雲端服務(百度希靈、訊飛數位人、Vidu S1)。
- PersonaAgent + SubAgent 任務:採用多代理架構,PersonaAgent 負責前台對話與中斷處理,而背景 SubAgent 則非同步執行搜尋、研究、摘要與 HTML 報告生成等長時間任務。
- 角色記憶與 RAG:對話歷史會持久化儲存至本地磁碟,並在重新進入對話時自動載入。使用者可匯入知識庫、文件與傳記資料,系統會對其建立索引以進行檢索增強生成,使回答更符合角色的背景與人設。
- 基於外掛的堆疊:大腦、語音、聽覺、工具、記憶與臉部皆為可替換模組。執行時期行為由
config/cyberverse.yaml配置,提供者定義則從內建目錄與可選的本地覆蓋檔案載入。LiteLLM 外掛透過單一介面提供超過 100 個 LLM 提供者的存取。
使用情境
CyberVerse 適用於需要即時語音與影片互動的 AI 代理,例如虛擬助理、數位夥伴、客服虛擬角色以及角色驅動的應用。它也可用於從單張照片保存或重現某人的外貌與聲音,支援情感或紀念用途。平台同時支援本地與雲端數位人類模型,可適應多種部署場景。
快速開始
請參閱儲存庫的 README 以取得詳細安裝步驟。先決條件包括 Node 18+、Go 1.25、Conda、Python 3.10+、FFmpeg 以及數個系統函式庫。如需快速啟動,使用者可從 Compshare 或 AutoDL 的雲端映像檔啟動 CyberVerse。基本的本地設定包括複製儲存庫、建立 Conda 環境、複製設定檔,以及設定 API 金鑰的環境變數。
授權與價格
CyberVerse 採用 GPL-3.0 授權。它是一個開源專案,在此授權條款下可免費使用。雲端服務(例如數位人類 API、GPU 租用)的價格由各服務提供者決定,不包含在 CyberVerse 專案本身中。
內容整理自該專案公開的 README 與儲存庫資訊。