OpenBMB/VoxCPM

项目介绍

VoxCPM2 是一个 2B 参数的中文/多语言语音合成模型。它不在离散音频 token 上建模，而是通过扩散自回归架构直接生成连续语音表示，主干基于 MiniCPM-4。项目面向需要多语言合成、按文字描述创造音色、以及用参考音频克隆声音的开发者和研究者。

当前版本支持 30 种语言和若干中文方言，原生输出 48 kHz 音频，提供三种克隆方式：不需要参考音频的声音设计、可附加风格指令的可控克隆，以及同时提供参考音频和转写的「终极克隆」。权重与代码以 Apache-2.0 发布；README 还给出 vLLM-Omni、Nano-vLLM 和 llama.cpp-omni 的部署入口。

快速使用

准备 Python 3.10–3.12、PyTorch 2.5.0 以上和 CUDA 12.0 以上环境，安装后通过 Python API 合成：

pip install voxcpm

from voxcpm import VoxCPM
import soundfile as sf

model = VoxCPM.from_pretrained("openbmb/VoxCPM2", load_denoiser=False)
wav = model.generate(
    text="VoxCPM2 is the current recommended release for realistic multilingual speech synthesis.",
    cfg_value=2.0,
    inference_timesteps=10,
    seed=42,
)
sf.write("demo.wav", wav, model.tts_model.sample_rate)

这段代码会下载模型、合成一句话并写出 demo.wav。如果网络不便，可以先用 ModelScope 把快照下载到本地目录，再把该路径传给 from_pretrained。安装前也可以先在在线 Playground 试听样板。

使用方式

声音设计把描述放在文本开头的括号里，例如 (A young woman, gentle and sweet voice)Hello...，无需参考音频。可控克隆在传入 reference_wav_path 的同时仍可加风格说明；终极克隆则传入 prompt_wav_path、prompt_text，并可选地把同一文件作为 reference_wav_path 以提高相似度。

命令行提供 voxcpm design、voxcpm clone 和 voxcpm batch 子命令；本地 Web UI 用 python app.py --port 8808 启动。generate_streaming 按块返回音频，适合流式播放。

与其他工具配合

高吞吐服务可以接入 Nano-vLLM（异步 API）或 vLLM-Omni（PagedAttention 和兼容 OpenAI 的 /v1/audio/speech 接口）。端侧场景可以编译 llama.cpp-omni，用 voxcpm2-cli 和 GGUF 权重在 CPU、Metal、CUDA 或 Vulkan 上运行。这些是独立项目，安装步骤各不相同；README 给出的参考数据是 RTX 4090 上 Nano-vLLM 的 RTF 约 0.13、M4 Pro 上 llama.cpp 的 RTF 约 1.76，选型时需按硬件评估。

使用约束

• 标准 PyTorch 路径要求 CUDA 12.0 以上，VoxCPM2 约需 8 GB 显存；Web UI 可用 --device 选择 cpu、mps 或 cuda:N。
• 声音设计和可控克隆的结果在多次生成间可能不同，作者建议生成 1–3 次以得到想要的声音或风格。
• 官方支持 30 种语言，列表之外的语言需要自行测试或微调。
• 全量 SFT 和 LoRA 微调可用 5–10 分钟音频起步，但需要单独准备训练数据和配置。
• 作者明确禁止用于冒充、欺诈和虚假信息，并建议对 AI 生成音频加标注。
• 字符级时间戳是尽力而为的结果，由词级对齐推导。

HotRepo 点评

VoxCPM 的日榜记录从 2026 年 9 月中旬持续到 11 月：9 月 14 日、15 日分别新增约 204 和 216 Star，10 月 23 日新增 144 Star，11 月 9 日进入 Python 语言日榜第 6 名，当日新增 423 Star，总数达到 42,007。增速有起伏，但近两个月的连续记录显示关注度并不依赖单日爆发。项目 2025 年 9 月创建，以 2B 参数的开源权重获得高星，评测表把 VoxCPM2 与闭源及多语言模型放在一起比较；阅读这些数字时应以其公开的评测口径和条件为准。

项目源码与说明