ai-shortVideo-pipeline
端到端AI短影音製作管線。FastAPI編排 + Spring Boot閘道,具備多模型容錯、斷路器、計量及全端支援。
ai-shortVideo-pipeline 是什麼?
端到端AI短影音製作管線。FastAPI編排 + Spring Boot閘道,具備多模型容錯、斷路器、計量及全端可觀測性。AI品質把關:提示錨定、CLIP一致性、影音同步自動救援。
ai-shortVideo-pipeline 概覽
這是什麼
一個端到端的自動化短影片製作管道。輸入一個指令,即可產出可發布的影片。它使用 FastAPI 作為編排核心,並以 Java 閘道作為平台治理層(認證、路由、斷路器、計量、可觀測性),協調多個 AI 模型進行生成與品質把關。
主要功能
- 七層管道架構:主題(L1)→ 創意(L2)→ 視覺(L3)→ 音訊(L4)→ 後製(L5)→ 發布(L6)→ 優化(L7)。各層解耦且可獨立替換。
- 多模型故障轉移 + 斷路器:Java 閘道整合 DeepSeek / Qwen / GLM,並以 Resilience4j 保護;失敗的提供者會自動輪換。
- AI 一致性治理:提示錨定(維持影片片段中主體的視覺一致性)、CLIP 文字-影像一致性把關(提前拒絕偏離提示的關鍵影格)、影音同步自動救援(四層策略:音訊速度調整 / 影片填補 / 旁白重寫)。
- 全端可觀測性:trace_id 在 Java/Python 之間傳遞;Langfuse 呼叫樹可視化。
- 計量與限流:AOP 切面無需修改程式碼即可擷取 token / 成本,按租戶彙總。
- 生產就緒:SSE 進度串流、單段重新生成、滾動日誌歸檔。
使用情境
- 熱點新聞評論
- 知識講解
- 情感故事
- 好奇心 / 冷知識
- 社會洞察短片
快速開始
### 1. Clone and prepare env
git clone .git
cd myAiVideos
cp .env.example .env
### Edit .env to fill in at least the required AI provider API keys.
### 2. Start backend (postgres + redis + orchestrator + worker)
docker compose up -d postgres redis orchestrator worker
### 3. Run database migrations
docker compose exec -T orchestrator alembic upgrade head
### 4. (Optional) Start Java gateway
docker compose up -d gateway
### 5. Start frontend
cd sl-vue && npm install && npm run dev
授權與價格
MIT — 開源。
內容整理自該專案公開的 README 與儲存庫資訊。