ai-avatar-system

🎭 AI 虛擬人像 / 數位人類平台 — 上傳照片、複製聲音、即時與任何臉孔對話並同步唇形影片。開源、可自行架設。Claude · Whisper · Chatterbox · MuseTalk。

ai-avatar-system 是什麼?

🎭 AI 虛擬人像 / 數位人類平台 — 上傳照片、複製聲音、即時與任何臉孔對話並同步唇形影片。開源、可自行架設。Claude · Whisper · Chatterbox · MuseTalk。

ai-avatar-system 概覽

這是什麼

AvatarAI 是一個開放原始碼、可自行架設的 AI 虛擬人像平台,用於建立擬真的 AI 虛擬人對話。使用者上傳一張臉部照片、從短音訊片段複製聲音,即可進行即時對話,並在每次回覆時產生嘴型同步影片。處理流程從麥克風輸入開始,依序經過 Whisper 語音轉文字、串流 LLM(Claude、GPT-4o 或本機模型)、Chatterbox 文字轉語音,以及 MuseTalk 嘴型同步。系統可完全在本機執行,也可部署到 AWS GPU 執行個體。

主要功能

  • 零樣本聲音複製:約 10 秒音訊即可複製聲音,支援 23 種語言
  • Token 串流管線:LLM 即時串流輸出 token,同時逐句進行 TTS 與嘴型同步,第一個影片片段可在回覆完成前播放
  • Barge-in 打斷:回覆中途說話或按下停止,可立即取消目前回合
  • 多 LLM 支援:Claude(含 prompt caching)、GPT-4o,或透過 Ollama / vLLM / LM Studio 使用本機模型
  • 嘴型同步影片:使用 MuseTalk V1.5,可選 GFPGAN 修復,並提供 FFmpeg CPU 備援
  • 本機優先儲存模式:開發時不需 AWS
  • 生產級功能:JWT + httpOnly-cookie 驗證、每使用者速率限制、Postgres + Alembic、S3/CloudFront、Prometheus、CI 與 pytest 測試套件

使用情境

  • 建立即時 AI 虛擬人/數位人類 Web 服務
  • 打造具備驗證與對話歷史的多使用者虛擬人聊天產品
  • 完全在本機執行虛擬人對話,適合重視隱私的情境
  • 在 AWS 上部署 GPU 加速的即時虛擬人系統

快速開始

請參閱 repository 的 READ

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/punithvtai-avatar-system.svg)](https://yunodb.com/tools/punithvtai-avatar-system?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/punithvtai-avatar-system?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/punithvtai-avatar-system.svg" alt="Featured on YunoDB" height="20"></a>