Interactive-LLM-Powered-NPCs

Interactive LLM Powered NPCs 是一個開源專案,徹底改變你在任何遊戲中與非玩家角色(NPC)的互動方式!🎮🤖🚀

Interactive-LLM-Powered-NPCs 是什麼?

Interactive LLM Powered NPCs 是一個開源專案,徹底改變你在任何遊戲中與非玩家角色(NPC)的互動方式!🎮🤖🚀

Interactive-LLM-Powered-NPCs 概覽

這是什麼

Interactive LLM Powered NPCs 是一個開源專案,徹底改變玩家在遊戲中與非玩家角色(NPC)的互動方式。玩家可以透過麥克風說話,與《電馭叛客2077》、《刺客教條》和《GTA 5》等遊戲中的 NPC 進行對話。該專案使用 sadtalker 進行唇形同步、臉部辨識來識別角色、向量儲存提供 NPC 無限記憶,以及預先對話檔案來塑造每個角色的對話風格。它還能透過網路攝影機捕捉玩家的臉部表情,讓 NPC 據此調整回應。系統無需修改遊戲原始碼,而是透過取代遊戲產生的臉部像素來運作。

主要功能

  • 麥克風輸入:將語音轉為文字與 NPC 互動。
  • 臉部辨識:識別玩家正在與哪個 NPC 交談。
  • LLM 整合:使用大型語言模型根據上下文產生回應。
  • 預先對話檔案:將角色的經典台詞和風格範例傳遞給 LLM。
  • 臉部動畫與語音生成:透過文字轉語音和 sadtalker 產生動畫影片。
  • 情緒辨識:網路攝影機捕捉玩家臉部情緒,影響 NPC 的回應。
  • 非視覺互動:即使 NPC 的臉部不可見,玩家仍可先說出 NPC 名字再對話。
  • 遊戲相容性:無需修改遊戲原始碼即可適用於任何遊戲。

使用情境

  • 在《電馭叛客2077》、《刺客教條:維京紀元》和《GTA 5》等開放世界遊戲中強化對話體驗。
  • 讓玩家能與背景角色和次要角色進行非腳本對話。
  • 創造沉浸式角色扮演體驗,NPC 能記住過往互動。
  • 透過臉部表情辨識為 NPC 互動增添情感深度。

快速開始

sh git clone https://github.com/AkshitIreddy/Interactive-LLM-Powered-NPCs.git cd Interactive-LLM-Powered-NPCs python -m venv .venv .venv/scripts/activate pip install -r requirements.txt cd sadtalker bash scripts/download_models.sh 其他必要條件包括 Python 3.10.6、GIT、wget、Microsoft Build Tools 與 Visual Studio,以及 FFmpeg。安裝後,建立免費的 Cohere 帳戶並將 API 金鑰加入 apikeys.json。刪除 video_temp 和 temp 資料夾中的所有檔案。

授權與價格

本專案採用 MIT 授權條款。為開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/akshitireddyinteractive-llm-powered-npcs.svg)](https://yunodb.com/tools/akshitireddyinteractive-llm-powered-npcs?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/akshitireddyinteractive-llm-powered-npcs?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/akshitireddyinteractive-llm-powered-npcs.svg" alt="Featured on YunoDB" height="20"></a>