speech-to-speech

使用開源模型建立語音代理

speech-to-speech 是什麼?

使用開源模型建立語音代理(語音轉語音)的開源模型。請注意,此處的「語音轉語音」為品牌名稱,保留原文。

speech-to-speech 概覽

這是什麼

Speech-to-Speech 是一個基於開源模型、低延遲的語音代理,完全在你的電腦上執行。它不需要 API 金鑰,也不需要雲端服務。預設的管線包含 Silero VAD、Parakeet TDT、Qwen3.5-4B 和 Qwen3-TTS,且每個階段都可以替換。伺服器透過 WebSocket 和 WebRTC 實作 OpenAI Realtime 協定,因此為 OpenAI Realtime API 打造的應用程式可以改為指向你自己的機器。此管線已實際用於數千台 Reachy Mini 機器人的對話後端。

主要功能

  • 單一指令即可在電腦上完全執行,無需 API 金鑰或雲端服務。
  • 預設管線:Silero VAD → Parakeet TDT → Qwen3.5-4B → Qwen3-TTS,每個階段皆可替換。
  • 支援多種 STT、LLM 和 TTS 後端(例如 Whisper、Transformers、Kokoro、Qwen3-TTS 等)。
  • 伺服器透過 WebSocket 和 WebRTC 實作 OpenAI Realtime 協定。
  • 指令:serve(執行管線伺服器)、talk(麥克風/喇叭客戶端)、local(將兩者合併於同一程序)。
  • 選用功能:回音消除、說話者辨識、工具呼叫、中斷處理。

使用情境

  • 建置無需雲端依賴、在本機執行的語音代理。
  • 開發使用 OpenAI Realtime API 但希望後端在本機執行的應用程式。
  • 為機器人(例如 Reachy Mini)提供對話介面。
  • 實驗不同的語音轉文字、語言模型和文字轉語音組合。

快速開始

使用 CPython 3.11–3.14(建議 3.11): bash python3 -m venv .venv source .venv/bin/activate pip install speech-to-speech speech-to-speech local 然後開始對話:說話、停頓,助理會透過喇叭回應。以 Ctrl+C 停止。首次執行會下載模型,請耐心等待幾分鐘。在 Ubuntu 上,請先安裝音訊函式庫:sudo apt-get install libportaudio2 libsndfile1。在 Windows 上,請以 .venv/Scripts/Activate.ps1 啟動環境。

授權與價格

授權為 Apache-2.0。此軟體為開源且免費使用。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/huggingfacespeech-to-speech.svg)](https://yunodb.com/tools/huggingfacespeech-to-speech?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/huggingfacespeech-to-speech?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/huggingfacespeech-to-speech.svg" alt="Featured on YunoDB" height="20"></a>