Interactive-LLM-Powered-NPCs
Interactive LLM Powered NPCs 是一個開源專案,徹底改變你在任何遊戲中與非玩家角色(NPC)的互動方式!🎮🤖🚀
Interactive-LLM-Powered-NPCs 是什麼?
Interactive LLM Powered NPCs 是一個開源專案,徹底改變你在任何遊戲中與非玩家角色(NPC)的互動方式!🎮🤖🚀
Interactive-LLM-Powered-NPCs 概覽
這是什麼
Interactive LLM Powered NPCs 是一個開源專案,徹底改變玩家在遊戲中與非玩家角色(NPC)的互動方式。玩家可以透過麥克風說話,與《電馭叛客2077》、《刺客教條》和《GTA 5》等遊戲中的 NPC 進行對話。該專案使用 sadtalker 進行唇形同步、臉部辨識來識別角色、向量儲存提供 NPC 無限記憶,以及預先對話檔案來塑造每個角色的對話風格。它還能透過網路攝影機捕捉玩家的臉部表情,讓 NPC 據此調整回應。系統無需修改遊戲原始碼,而是透過取代遊戲產生的臉部像素來運作。
主要功能
- 麥克風輸入:將語音轉為文字與 NPC 互動。
- 臉部辨識:識別玩家正在與哪個 NPC 交談。
- LLM 整合:使用大型語言模型根據上下文產生回應。
- 預先對話檔案:將角色的經典台詞和風格範例傳遞給 LLM。
- 臉部動畫與語音生成:透過文字轉語音和 sadtalker 產生動畫影片。
- 情緒辨識:網路攝影機捕捉玩家臉部情緒,影響 NPC 的回應。
- 非視覺互動:即使 NPC 的臉部不可見,玩家仍可先說出 NPC 名字再對話。
- 遊戲相容性:無需修改遊戲原始碼即可適用於任何遊戲。
使用情境
- 在《電馭叛客2077》、《刺客教條:維京紀元》和《GTA 5》等開放世界遊戲中強化對話體驗。
- 讓玩家能與背景角色和次要角色進行非腳本對話。
- 創造沉浸式角色扮演體驗,NPC 能記住過往互動。
- 透過臉部表情辨識為 NPC 互動增添情感深度。
快速開始
sh git clone https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs.git cd Interactive-LLM-Powered-NPCs python -m venv .venv .venv/scripts/activate pip install -r requirements.txt cd sadtalker bash scripts/download_models.sh 其他必要條件包括 Python 3.10.6、GIT、wget、Microsoft Build Tools 與 Visual Studio,以及 FFmpeg。安裝後,建立免費的 Cohere 帳戶並將 API 金鑰加入 apikeys.json。刪除 video_temp 和 temp 資料夾中的所有檔案。
授權與價格
本專案採用 MIT 授權條款。為開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。