Speech

一個可擴展的生成式AI框架,專為研究人員和開發人員設計,適用於大型語言模型、多模態和語音AI(自動語音辨識與文字轉語音)

Speech 是什麼?

一個可擴展的生成式AI框架,專為研究人員和開發人員設計,適用於大型語言模型、多模態和語音AI(自動語音辨識與文字轉語音)

Speech 概覽

這是什麼

NVIDIA NeMo Speech 是一個可擴展的生成式 AI 框架,專為研究人員和開發者設計,用於處理大型語言模型、多模態以及語音 AI(自動語音辨識與文字轉語音)。該框架旨在幫助使用者透過現有程式碼和預訓練模型檢查點,有效率地建立、自訂和部署新的 AI 模型。它支援自動語音辨識(ASR)、文字轉語音(TTS)以及語音 LLM 等語音模型。

主要功能

  • 支援自動語音辨識(ASR)、文字轉語音(TTS)以及語音 LLM。
  • 提供多種語音任務的預訓練模型檢查點。
  • 具備串流與離線推論能力。
  • 支援多種語言(例如 Nemotron-3.5-ASR-Streaming-0.6B 支援 40 種語言,MagpieTTS 支援 9 種語言)。
  • 採用快取感知 Fastconformer 架構,適用於串流 ASR。
  • 提供全雙工、自然、可中斷的低延遲語音對話(Nemotron 3 VoiceChat 處於早期存取階段)。
  • 相容於 Python 3.12+、PyTorch 2.7+ 以及 NVIDIA GPU 與 CUDA。

使用情境

研究人員與 PyTorch 開發者可使用 NeMo Speech 建立、自訂和部署自動語音辨識、文字轉語音以及語音基礎大型語言模型。該框架適用於離線與串流推論場景,並支援多語言應用。

快速開始

使用 uv 從原始碼安裝(建議方式): bash git clone https://github.com/NVIDIA-NeMo/Speech.git cd Speech uv sync --extra all --extra cu13 或使用 Docker: bash docker pull nvcr.io/nvidia/nemo-speech:26.07.00 docker run --rm -it --gpus all -v $PWD:/workspace nvcr.io/nvidia/nemo-speech:26.07.00 bash 或者透過 PyPI 使用 pip 安裝: bash pip install 'nemo-toolkit[asr,tts]'

授權與價格

NeMo Speech 採用 Apache License 2.0 授權。為開源軟體。

內容整理自該專案公開的 README 與儲存庫資訊。

將此徽章加入你的 README

Featured on YunoDB 徽章樣式與說明

你是這個專案的維護者嗎?展示它已收錄於 YunoDB。

Markdown[![Featured on YunoDB](https://yunodb.com/badge/nvidia-nemospeech.svg)](https://yunodb.com/tools/nvidia-nemospeech?utm_source=github&utm_medium=badge)
HTML<a href="https://yunodb.com/tools/nvidia-nemospeech?utm_source=github&utm_medium=badge"><img src="https://yunodb.com/badge/nvidia-nemospeech.svg" alt="Featured on YunoDB" height="20"></a>