ai-avatar-system
🎭 AI 虛擬人像 / 數位人類平台 — 上傳照片、複製聲音、即時與任何臉孔對話並同步唇形影片。開源、可自行架設。Claude · Whisper · Chatterbox · MuseTalk。
ai-avatar-system 是什麼?
🎭 AI 虛擬人像 / 數位人類平台 — 上傳照片、複製聲音、即時與任何臉孔對話並同步唇形影片。開源、可自行架設。Claude · Whisper · Chatterbox · MuseTalk。
ai-avatar-system 概覽
這是什麼
AvatarAI 是一個開放原始碼、可自行架設的 AI 虛擬人像平台,用於建立擬真的 AI 虛擬人對話。使用者上傳一張臉部照片、從短音訊片段複製聲音,即可進行即時對話,並在每次回覆時產生嘴型同步影片。處理流程從麥克風輸入開始,依序經過 Whisper 語音轉文字、串流 LLM(Claude、GPT-4o 或本機模型)、Chatterbox 文字轉語音,以及 MuseTalk 嘴型同步。系統可完全在本機執行,也可部署到 AWS GPU 執行個體。
主要功能
- 零樣本聲音複製:約 10 秒音訊即可複製聲音,支援 23 種語言
- Token 串流管線:LLM 即時串流輸出 token,同時逐句進行 TTS 與嘴型同步,第一個影片片段可在回覆完成前播放
- Barge-in 打斷:回覆中途說話或按下停止,可立即取消目前回合
- 多 LLM 支援:Claude(含 prompt caching)、GPT-4o,或透過 Ollama / vLLM / LM Studio 使用本機模型
- 嘴型同步影片:使用 MuseTalk V1.5,可選 GFPGAN 修復,並提供 FFmpeg CPU 備援
- 本機優先儲存模式:開發時不需 AWS
- 生產級功能:JWT + httpOnly-cookie 驗證、每使用者速率限制、Postgres + Alembic、S3/CloudFront、Prometheus、CI 與 pytest 測試套件
使用情境
- 建立即時 AI 虛擬人/數位人類 Web 服務
- 打造具備驗證與對話歷史的多使用者虛擬人聊天產品
- 完全在本機執行虛擬人對話,適合重視隱私的情境
- 在 AWS 上部署 GPU 加速的即時虛擬人系統
快速開始
請參閱 repository 的 READ
內容整理自該專案公開的 README 與儲存庫資訊。