inworld-ai/voice-isolator
机器学习开源的 48 kHz 语音隔离模型,离线清理录音、低延迟处理直播流,提供 Python 接口和命令行工具。
项目介绍
Voice Isolator 是 Inworld 以 Apache-2.0 许可发布的语音分离项目,包含两个共享同一架构的检查点:voice-isolator-v1(64M 参数)面向录音等非延迟敏感场景,离线处理时每帧可以看到完整的 8 秒音频块,质量优先;voice-isolator-v1-realtime(58M 参数)是因果流式模型,只有 20 ms 前视,用于实时通话和直播流。默认输出 48 kHz 的 float32 WAV,并保留原始电平,因此分离出的人声与移除部分相加可以还原对齐后的单声道输入;用输入减去人声,还能得到背景或伴奏残差,辅助人声与音乐分离。
它适合在播放或发布前清理录音、整理语音数据集,以及处理需要保留说话人身份的语音流程。项目明确说明它不是说话人选择器,也不是修复模型;修复功能计划在版本 2 提供。
快速使用
需要 Python 3.10+ 和 PyTorch 2.1+。有 CUDA 时使用 GPU,Apple Silicon Mac 在 PyTorch 2.6+ 下可用 Metal(mps),否则回退到 CPU。
pip install inworld-voice-isolation
# 或从克隆安装:git clone https://github.com/inworld-ai/voice-isolator && cd voice-isolator && pip install -e .
curl -LO https://raw.githubusercontent.com/inworld-ai/voice-isolator/main/demo/examples/sample_14.wav
voice-isolate sample_14.wav sample_14_clean.wav
首次运行会下载离线模型,并按模型注册表中的校验和检查文件。命令会在 sample_14_clean.wav 旁边写入 sample_14_clean_background.wav。用 --output-sr 0 保留输入采样率,用 --background <路径> 指定移除音频的保存位置,或用 --no-background 只保存人声。
流式处理可在 Python 中建立 lookahead_frames=2 的会话,按每块 960 个采样点(20 ms)的 48 kHz 单声道音频推入,结束时调用 flush;命令行等价写法是 voice-isolate sample_14.wav sample_14_streamed.wav --mode streaming --lookahead 2。交互式 demo提供 Offline 和 Online 两个标签页,音频清理 notebook演示如何完成第一次评估。
使用约束
- 默认输入输出为 48 kHz 单声道 WAV;
--device可选择 CUDA、mps或 CPU。 - 流式模式固定使用 20 ms 前视;分离出的背景可能混有人声泄漏,并非纯噪声轨。
- 硬件在 NVIDIA A100/H100/B200/B300 和 CPU 上测试过。更小的 GPU 和 Apple Silicon 以外的端侧设备尚未测试,列在计划中。
- VIBE 基准(语音隔离与修复两个榜单)使用未公开的内部评测集打分,评分方法见榜单说明。
- 代码和权重均为 Apache-2.0,第三方声明见
NOTICE。
HotRepo 点评
这是一个新发布且目标明确的项目:HotRepo 的新项目快照在 2026 年 11 月 20 日记录了 104 星、11 个 fork,当天约 1.5 小时的统计窗口内净增 4 星。该仓库目前没有全语言日榜最好名次记录,也没有关联的 Hacker News 讨论。技术上的看点在于两个共享架构的检查点覆盖了离线高质量清理与实时低延迟处理两种场景,同时以宽松许可提供命令行、Python API、demo 和基准文档。
本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。