搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

VoxDance-Lab/VoxMel

机器学习

直接建模梅尔频谱的无分词器自回归 TTS 框架,支持中英文零样本声音克隆。

135
12
Python
Apache-2.0
创建于 7 天前

项目介绍

VoxMel 是一个连续自回归语音合成框架,跳过学习到的声学 tokenizer,直接以梅尔频谱为建模目标。它用固定的、可精确逆变换的双轴 Haar 分解把梅尔特征拆开:带流匹配头的 decoder-only Transformer 自回归生成 Coarse-Mel,再由两个非自回归层级按依赖顺序恢复时间残差和频率残差,最后由冻结的 Vocos 声码器还原为 24 kHz 语音。适合研究中英文零样本声音克隆的语音研究者和工程师。

快速使用

需要 Python 3.10–3.12 和与硬件匹配的 PyTorch/torchaudio(参考环境为 torch/torchaudio 2.4.1 + CUDA 12.1)。在仓库根目录安装:

pip install -e .

该代码库包含模型代码和 Qwen tokenizer,但不含训练好的 VoxMel 权重、实验配置和 Vocos 权重。先从 VoxMel-0.6B 或 VoxMel-0.3B 下载模型,按如下结构放置:

/path/to/experiment/
├── config.yaml
└── model_L_final.pt
/path/to/vocos-mel-24khz/
├── config.yaml
└── pytorch_model.bin

用 Python 生成克隆语音时,必须同时提供参考音频和其准确转写:

from voxcore import VoxMel
import soundfile as sf

model = VoxMel.from_pretrained(
    "/path/to/experiment",
    tokenizer_path="examples/voxmel/qwen_tokenizer",
    vocos_path="/path/to/vocos-mel-24khz",
    device="auto",
)
wav = model.generate(
    "这是声音克隆的演示。",
    prompt_wav_path="reference.wav",
    prompt_text="参考音频中实际说出的内容。",
    cfg_text_strength=3.5,
    cfg_spk_strength=3.0,
    seed=42,
)
sf.write("clone.wav", wav, model.sample_rate)

也可以使用命令行 voxmel --model ... --prompt-audio ... --output out.wav,或安装网页依赖后运行 Gradio 演示:pip install -e ".[web]",再 python app.py --model ... --port 8808,打开 http://127.0.0.1:8808。完整参数见快速开始。演示一次只处理一个生成请求。

配置与控制

device="auto" 依次选择 CUDA、MPS、CPU,显式指定不可用的设备会报错。文本引导和说话人引导相互独立,cfg_text_strength 默认 3.5,cfg_spk_strength 默认 3.0;仅在提供参考音频时说话人引导生效。up_num_steps 控制残差求解步数(演示默认 32),min_seconds/max_seconds 限定粗帧生成范围,实际时长由模型停止预测决定。批量评测在非 CUDA 环境需设 DEVICE=cpu 或 DEVICE=mps 且 NPROC=1;脚本支持 GPU、NPROC、MAX_ITEMS、COARSE_STEPS、UP_STEPS 和 CFG 覆盖,并跳过已有输出。

使用约束

零样本克隆必须同时提供参考音频和准确转写;缺少兼容的实验目录、Vocos 权重和配置时无法生成语音。MPS 算子支持和性能仍需要用你的 checkpoint 验证。24 kHz 输出和 100K 小时 Emilia 训练是论文中的配置。代码和模型权重采用 Apache-2.0,第三方组件遵循各自许可证,Vocos 以冻结方式使用。

评测结果说明

在 Seed-TTS-eval 上,监督训练的 0.6B 模型报告英文 1.51% WER / 0.738 SIM、中文 1.29% CER / 0.755 SIM;冻结头 GRPO 后训练提升到英文 1.15% WER / 0.753 SIM、中文 1.17% CER / 0.776 SIM。只有 VoxMel-0.6B 做了该后训练,0.3B 没有。以上为作者在该基准上的报告值,并非独立复现。

HotRepo 点评

站内记录有限:VoxMel 在 2026-11-18 进入 HotRepo 新项目榜 Python 语言榜,约 1.5 小时内新增 6 Star、达到 106,暂无全语言日榜名次。这段记录太短,不足以判断趋势。更值得关注的是它属于完整的研究发布:代码、两个模型规模、技术报告,以及面向 Apple Silicon 的社区 MLX 移植,而不只是演示页宣传。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. OpenBMB/VoxCPM一个 2B 参数的无分词 TTS 模型,支持 30 种语言、声音设计和语音克隆。Python42,008
  2. hehehai/AudioSmith在 Mac 本地完成语音合成、声音克隆、有声书、配音与转写的语音工作室,模型全部在设备上运行。Go107
  3. pnnbao97/VieNeu-TTS面向越南语的本地 TTS,支持即时音色克隆,可在 CPU 或 GPU 上实时合成语音。Python3,280
  4. 0xShug0/audio.cpp一个基于 ggml 的纯 C++ 音频推理运行时,无需 Python 就能在本地跑 TTS、语音识别、音乐生成等多种音频模型。C++3,820
  5. n4ze3m/tiny-voca一个 450 万参数、两种英文音色、可在 CPU 或浏览器中运行的自研语音合成模型。Python105