搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

inworld-ai/voice-isolator

机器学习

开源的 48 kHz 语音隔离模型,离线清理录音、低延迟处理直播流,提供 Python 接口和命令行工具。

104
11
Python
Apache-2.0
创建于 4 天前

项目介绍

Voice Isolator 是 Inworld 以 Apache-2.0 许可发布的语音分离项目,包含两个共享同一架构的检查点:voice-isolator-v1(64M 参数)面向录音等非延迟敏感场景,离线处理时每帧可以看到完整的 8 秒音频块,质量优先;voice-isolator-v1-realtime(58M 参数)是因果流式模型,只有 20 ms 前视,用于实时通话和直播流。默认输出 48 kHz 的 float32 WAV,并保留原始电平,因此分离出的人声与移除部分相加可以还原对齐后的单声道输入;用输入减去人声,还能得到背景或伴奏残差,辅助人声与音乐分离。

它适合在播放或发布前清理录音、整理语音数据集,以及处理需要保留说话人身份的语音流程。项目明确说明它不是说话人选择器,也不是修复模型;修复功能计划在版本 2 提供。

快速使用

需要 Python 3.10+ 和 PyTorch 2.1+。有 CUDA 时使用 GPU,Apple Silicon Mac 在 PyTorch 2.6+ 下可用 Metal(mps),否则回退到 CPU。

pip install inworld-voice-isolation
# 或从克隆安装:git clone https://github.com/inworld-ai/voice-isolator && cd voice-isolator && pip install -e .

curl -LO https://raw.githubusercontent.com/inworld-ai/voice-isolator/main/demo/examples/sample_14.wav

voice-isolate sample_14.wav sample_14_clean.wav

首次运行会下载离线模型,并按模型注册表中的校验和检查文件。命令会在 sample_14_clean.wav 旁边写入 sample_14_clean_background.wav。用 --output-sr 0 保留输入采样率,用 --background <路径> 指定移除音频的保存位置,或用 --no-background 只保存人声。

流式处理可在 Python 中建立 lookahead_frames=2 的会话,按每块 960 个采样点(20 ms)的 48 kHz 单声道音频推入,结束时调用 flush;命令行等价写法是 voice-isolate sample_14.wav sample_14_streamed.wav --mode streaming --lookahead 2。交互式 demo提供 Offline 和 Online 两个标签页,音频清理 notebook演示如何完成第一次评估。

使用约束

  • 默认输入输出为 48 kHz 单声道 WAV;--device 可选择 CUDA、mps 或 CPU。
  • 流式模式固定使用 20 ms 前视;分离出的背景可能混有人声泄漏,并非纯噪声轨。
  • 硬件在 NVIDIA A100/H100/B200/B300 和 CPU 上测试过。更小的 GPU 和 Apple Silicon 以外的端侧设备尚未测试,列在计划中。
  • VIBE 基准(语音隔离与修复两个榜单)使用未公开的内部评测集打分,评分方法见榜单说明。
  • 代码和权重均为 Apache-2.0,第三方声明见 NOTICE。

HotRepo 点评

这是一个新发布且目标明确的项目:HotRepo 的新项目快照在 2026 年 11 月 20 日记录了 104 星、11 个 fork,当天约 1.5 小时的统计窗口内净增 4 星。该仓库目前没有全语言日榜最好名次记录,也没有关联的 Hacker News 讨论。技术上的看点在于两个共享架构的检查点覆盖了离线高质量清理与实时低延迟处理两种场景,同时以宽松许可提供命令行、Python API、demo 和基准文档。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. moonshine-ai/moonshine为语音智能体与语音界面提供低延迟、端侧运行的流式语音识别、意图识别与语音合成工具。C++11,335
  2. n4ze3m/tiny-voca一个 450 万参数、两种英文音色、可在 CPU 或浏览器中运行的自研语音合成模型。Python105
  3. microsoft/VibeVoice一套开放权重的语音模型家族,覆盖长音频转写与富有表现力的多说话人语音合成。Python55,376
  4. pnnbao97/VieNeu-TTS面向越南语的本地 TTS,支持即时音色克隆,可在 CPU 或 GPU 上实时合成语音。Python3,280
  5. OpenBMB/VoxCPM一个 2B 参数的无分词 TTS 模型,支持 30 种语言、声音设计和语音克隆。Python42,008