Speech
一個可擴展的生成式AI框架,專為研究人員和開發人員設計,適用於大型語言模型、多模態和語音AI(自動語音辨識與文字轉語音)
Speech 是什麼?
一個可擴展的生成式AI框架,專為研究人員和開發人員設計,適用於大型語言模型、多模態和語音AI(自動語音辨識與文字轉語音)
Speech 概覽
這是什麼
NVIDIA NeMo Speech 是一個可擴展的生成式 AI 框架,專為研究人員和開發者設計,用於處理大型語言模型、多模態以及語音 AI(自動語音辨識與文字轉語音)。該框架旨在幫助使用者透過現有程式碼和預訓練模型檢查點,有效率地建立、自訂和部署新的 AI 模型。它支援自動語音辨識(ASR)、文字轉語音(TTS)以及語音 LLM 等語音模型。
主要功能
- 支援自動語音辨識(ASR)、文字轉語音(TTS)以及語音 LLM。
- 提供多種語音任務的預訓練模型檢查點。
- 具備串流與離線推論能力。
- 支援多種語言(例如 Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言,MagpieTTS 支援 9 種語言)。
- 採用快取感知 Fastconformer 架構,適用於串流 ASR。
- 提供全雙工、自然、可中斷的低延遲語音對話(Nemotron 3 VoiceChat 處於早期存取階段)。
- 相容於 Python 3.12+、PyTorch 2.7+ 以及 NVIDIA GPU 與 CUDA。
使用情境
研究人員與 PyTorch 開發者可使用 NeMo Speech 建立、自訂和部署自動語音辨識、文字轉語音以及語音基礎大型語言模型。該框架適用於離線與串流推論場景,並支援多語言應用。
快速開始
使用 uv 從原始碼安裝(建議方式): bash git clone https://github.com/NVIDIA-NeMo/Speech.git cd Speech uv sync --extra all --extra cu13 或使用 Docker: bash docker pull nvcr.io/nvidia/nemo-speech:26.07.00 docker run --rm -it --gpus all -v $PWD:/workspace nvcr.io/nvidia/nemo-speech:26.07.00 bash 或者透過 PyPI 使用 pip 安裝: bash pip install 'nemo-toolkit[asr,tts]'
授權與價格
NeMo Speech 採用 Apache License 2.0 授權。為開源軟體。
內容整理自該專案公開的 README 與儲存庫資訊。