NVIDIA-NeMo/Speech

NVIDIA NeMo Speech 是给研究和 PyTorch 开发者使用的语音模型框架，覆盖自动语音识别（ASR）、文本转语音（TTS）和语音 LLM。它把可复用的训练与部署代码和 NVIDIA 发布的检查点放在一起，让你从现成模型起步，而不是从零搭建。2026 年起仓库聚焦音频、语音和多模态 LLM；拆分前支持其他模态的最终版本是 v2.7.3。

你会用到什么

框架提供创建和定制语音系统的模型代码，开放权重检查点则单独发布在 Hugging Face。近期例子包括支持 40 种语言、延迟可调的流式 ASR 模型，多语言 TTS 模型，以及同时支持离线与流式推理的英语统一 ASR 模型。更新说明还提到一个语音对话模型，但它以早期访问形式提供，并非普通可下载代码。一个典型流程是：选一个已发布检查点，用框架针对自己的领域微调或适配，再用同一套代码部署。可选的加速后端（Transformer Engine、FlashAttention、Mamba 等 kernel）需要额外编译包；主要的 Automodel 后端无需这些依赖即可运行。

安装路径各自锁定什么

README 给出三条取舍不同的路径：

• 用 uv 从源码安装是推荐方式，复现官方实际测试的栈：Python 3.13、PyTorch 2.12、CUDA 13.2，也可选 CUDA 12。它装进本地虚拟环境；Dockerfile 和 CI 用的锁定方式也走这条。
• **预构建 NGC 容器（26.07.00）**是同一套栈的开箱即用版本。
• pip/uv pip 回退适合已有自己的 Python/PyTorch/CUDA 环境的人。它保留你的构建，只要求 Python 3.12+、PyTorch 2.7+，训练时需要 NVIDIA GPU。作者明确警告这条路径不要用 uv sync --locked，否则会用官方基线替换你的环境。

训练需要 GPU，推理推荐 GPU；README 未把纯 CPU 描述为受支持的训练方案。安装、兼容性和构建细节以官方文档为准。

安全与版本注意事项

PyTorch 2.6 及以后默认 torch.load 只加载权重。部分检查点可能需要设置 TORCH_FORCE_NO_WEIGHTS_ONLY_LOAD=1；README 强调只对可信文件这样做，因为从不可信来源加载可能带来任意代码执行风险。Hugging Face 上的权重是独立下载项，各有模型卡，应分别核对许可和要求，不能默认框架许可证覆盖它们。

仓库采用 Apache-2.0 许可证，可在其条款下商用和修改。发布节奏显示检查点更新频繁；如果需要跨模型版本复现结果，这一点值得留意。

项目源码与说明