microsoft/VibeVoice

项目介绍

VibeVoice 是微软推出的开放权重语音模型家族，同时覆盖语音识别（ASR）和语音合成（TTS）。两者共用一套技术底座：声学与语义两个连续语音分词器以 7.5 Hz 的超低帧率运行，配合 next-token diffusion 框架——由大语言模型理解文本与对话上下文，再由扩散头生成高保真声学细节。低帧率是它能处理小时级音频的关键。

当前家族包括：

• VibeVoice-ASR-7B：单次可接收最长 60 分钟音频（64K token 上下文），输出包含说话人、时间戳和内容的富转写，并支持用户自定义热词以提升领域术语准确率。另有流式变体边收音频边出文本，以及可在 CPU 上运行的 BitNet 版本。
• VibeVoice-TTS-1.5B：单次合成最长 90 分钟、最多 4 个说话人的长对话语音（ICLR 2026 Oral）。
• VibeVoice-Realtime-0.5B：轻量流式 TTS，首个可听音频延迟约 300 毫秒，稳定生成长度约 10 分钟。

适合需要长音频分角色转写或播客式多说话人合成的研究者和工程师，前提是愿意在本地或通过 Hugging Face 运行模型。

快速使用

上手成本最低的路径是托管 ASR playground：aka.ms/vibevoice-asr，上传或录制音频后直接查看 who/when/what 结构化转写，无需本地安装。TTS 方向可用 Realtime Colab notebook 在浏览器里完整运行 0.5B 模型。

本地使用需从 Hugging Face 仓库安装对应模型——VibeVoice-ASR、VibeVoice-1.5B 或 VibeVoice-Realtime-0.5B——并按对应文档操作：ASR、TTS、Realtime。更快的 ASR 推理服务见 vLLM 与 vLLM streaming 文档；微调说明在 ASR 微调 README。纯 CPU 部署可改用独立的 VibeASR.cpp 引擎配合 BitNet 权重。

README 没有给出统一的 pip install 加推理的一键命令，各模型专属文档和 Colab notebook 才是权威入口。

使用约束与风险

• 许可证为 MIT，但 README 将模型定位为研究与开发用途，建议在未做进一步测试前不要用于商业或真实场景。
• 原始 TTS 代码已于 2025 年 9 月因滥用从仓库中移除；VibeVoice-TTS 的快速体验入口标记为 Disabled，权重仍保留在 Hugging Face。
• 开放权重不等于开放训练代码。 社区讨论指出训练代码并未公开，因此它更接近 open-weight 而非传统意义的完全开源（HN 讨论）。
• 输出质量因场景而异。 同帖用户反馈存在幻觉、推理较重、多语言较弱、训练数据噪声大等问题，针对的是当时的 7B TTS 版本（评论、回复）。这些是个人体验，不是基准测试结论。
• 滥用风险写在明面上：README 提示深度伪造与虚假信息风险，要求披露 AI 生成音频并遵守当地法律。

HotRepo 点评

2026-11-05，VibeVoice 登上 GitHub 全语言日榜第 13 名，该日快照为 55,376 stars、6,241 forks，当日新增 214 stars；更早的 2026 年 7 月末快照显示日增约 330。2026 年 4 月的 Hacker News 讨论帖获得 386 分、181 条评论，其中对「开源自称」和推理成本的质疑与关注同样显眼。高星数与对权重开放性、运行性能的直接批评并存，说明它更适合作为研究与基准评测对象；生产可用性应结合自己的音频和延迟要求判断，而不是只看热度。