agents
用於構建即時語音 AI 代理的框架 🤖🎙️📹
agents 是什麼?
這是一個用於構建即時語音 AI 代理的框架,支援語音和視訊互動,適合開發者快速建立具備即時通訊能力的 AI 應用。
agents 概覽
這是什麼
Agent Framework 是專為建構即時、可程式化的伺服器端參與者而設計。可用於建立能看、能聽、能理解的對話式多模態語音代理。
主要功能
- 靈活整合:完整的生態系統,可自由搭配 STT、LLM、TTS 與 Realtime API。
- 整合任務排程:內建任務排程與分發 API,可將終端使用者連接到代理。
- 廣泛的 WebRTC 客戶端:使用 LiveKit 的開源 SDK 生態系統建構客戶端應用程式,支援所有主要平台。
- 電話整合:與 LiveKit 的電話堆疊無縫協作,讓代理可以撥打或接聽電話。
- 與客戶端交換資料:使用 RPC 及其他 Data API 與客戶端交換資料。
- 語義轉換偵測:使用 transformer 模型偵測使用者何時說完話,減少中斷。
- MCP 支援:原生支援 MCP;一行程式碼即可整合 MCP 伺服器提供的工具。
- 內建測試框架:編寫測試並使用評判器確保代理行為符合預期。
- 開源:完全開源,可在自有伺服器上執行整個堆疊,包括 LiveKit 伺服器。
使用情境
- 建構即時語音代理以用於對話式應用。
- 多代理交接場景(例如,入門代理收集資訊後交接給故事代理)。
- 外撥電話代理。
- 整合 MCP 伺服器的工具。
- 使用自動化測試驗證代理行為。
快速開始
安裝核心 Agents 函式庫以及常用模型提供者的外掛:
pip install "livekit-agents[openai,deepgram,cartesia]"
更多詳細設定與範例請參閱儲存庫的 README。
授權與價格
Apache-2.0 授權。開源。
內容整理自該專案公開的 README 與儲存庫資訊。