agents

用於構建即時語音 AI 代理的框架 🤖🎙️📹

agents 是什麼?

這是一個用於構建即時語音 AI 代理的框架,支援語音和視訊互動,適合開發者快速建立具備即時通訊能力的 AI 應用。

agents 概覽

這是什麼

Agent Framework 是專為建構即時、可程式化的伺服器端參與者而設計。可用於建立能看、能聽、能理解的對話式多模態語音代理。

主要功能

  • 靈活整合:完整的生態系統,可自由搭配 STT、LLM、TTS 與 Realtime API。
  • 整合任務排程:內建任務排程與分發 API,可將終端使用者連接到代理。
  • 廣泛的 WebRTC 客戶端:使用 LiveKit 的開源 SDK 生態系統建構客戶端應用程式,支援所有主要平台。
  • 電話整合:與 LiveKit 的電話堆疊無縫協作,讓代理可以撥打或接聽電話。
  • 與客戶端交換資料:使用 RPC 及其他 Data API 與客戶端交換資料。
  • 語義轉換偵測:使用 transformer 模型偵測使用者何時說完話,減少中斷。
  • MCP 支援:原生支援 MCP;一行程式碼即可整合 MCP 伺服器提供的工具。
  • 內建測試框架:編寫測試並使用評判器確保代理行為符合預期。
  • 開源:完全開源,可在自有伺服器上執行整個堆疊,包括 LiveKit 伺服器。

使用情境

  • 建構即時語音代理以用於對話式應用。
  • 多代理交接場景(例如,入門代理收集資訊後交接給故事代理)。
  • 外撥電話代理。
  • 整合 MCP 伺服器的工具。
  • 使用自動化測試驗證代理行為。

快速開始

安裝核心 Agents 函式庫以及常用模型提供者的外掛:

pip install "livekit-agents[openai,deepgram,cartesia]"

更多詳細設定與範例請參閱儲存庫的 README。

授權與價格

Apache-2.0 授權。開源。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/livekitagents.svg)](https://yunodb.com/tools/livekitagents?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/livekitagents?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/livekitagents.svg" alt="Featured on YunoDB" height="20"></a>