speech-to-speech
使用開源模型建立語音代理
speech-to-speech 是什麼?
使用開源模型建立語音代理(語音轉語音)的開源模型。請注意,此處的「語音轉語音」為品牌名稱,保留原文。
speech-to-speech 概覽
這是什麼
Speech-to-Speech 是一個基於開源模型、低延遲的語音代理,完全在你的電腦上執行。它不需要 API 金鑰,也不需要雲端服務。預設的管線包含 Silero VAD、Parakeet TDT、Qwen3.5-4B 和 Qwen3-TTS,且每個階段都可以替換。伺服器透過 WebSocket 和 WebRTC 實作 OpenAI Realtime 協定,因此為 OpenAI Realtime API 打造的應用程式可以改為指向你自己的機器。此管線已實際用於數千台 Reachy Mini 機器人的對話後端。
主要功能
- 單一指令即可在電腦上完全執行,無需 API 金鑰或雲端服務。
- 預設管線:Silero VAD → Parakeet TDT → Qwen3.5-4B → Qwen3-TTS,每個階段皆可替換。
- 支援多種 STT、LLM 和 TTS 後端(例如 Whisper、Transformers、Kokoro、Qwen3-TTS 等)。
- 伺服器透過 WebSocket 和 WebRTC 實作 OpenAI Realtime 協定。
- 指令:
serve(執行管線伺服器)、talk(麥克風/喇叭客戶端)、local(將兩者合併於同一程序)。 - 選用功能:回音消除、說話者辨識、工具呼叫、中斷處理。
使用情境
- 建置無需雲端依賴、在本機執行的語音代理。
- 開發使用 OpenAI Realtime API 但希望後端在本機執行的應用程式。
- 為機器人(例如 Reachy Mini)提供對話介面。
- 實驗不同的語音轉文字、語言模型和文字轉語音組合。
快速開始
使用 CPython 3.11–3.14(建議 3.11): bash python3 -m venv .venv source .venv/bin/activate pip install speech-to-speech speech-to-speech local 然後開始對話:說話、停頓,助理會透過喇叭回應。以 Ctrl+C 停止。首次執行會下載模型,請耐心等待幾分鐘。在 Ubuntu 上,請先安裝音訊函式庫:sudo apt-get install libportaudio2 libsndfile1。在 Windows 上,請以 .venv/Scripts/Activate.ps1 啟動環境。
授權與價格
授權為 Apache-2.0。此軟體為開源且免費使用。
內容整理自該專案公開的 README 與儲存庫資訊。