搜索你想找的开源项目

输入名称、用途或关键词,也可粘贴 GitHub 仓库链接

分享到微信

当前解读页的微信分享二维码

用微信扫一扫打开,点击右上角「···」分享给朋友或朋友圈。

手机上可截屏后,在微信扫一扫中从相册识别二维码。

kobimusic/dettato

多媒体与设计

把录音转成 MIDI 的多乐器转录工具,输出分轨音符和鼓点,适合音乐人和制作人。

127
10
Python
Apache-2.0
创建于 4 天前

项目介绍

dettato 把一段录音转成 MIDI 文件,按乐器分成多条轨道,另加一条鼓轨。它由四个小模型串联而成:1530 万参数的转录器在 88 键上检测音符的起始、结束和音高;490 万参数的证据修复器删掉错误音符并修正起止;290 万参数的分组器把音符分配到乐器轨道;500 万参数的鼓模型输出打击乐。合计 2810 万参数。

作者报告在九个公开基准集上综合 F1 为 59.2,而 13 亿参数的 MuScriptor 为 45.1;在 Mirelo 公布的三组上为 60.8,闭源 Mirelo A2M v1.1 Pro 为 56.1。这些是作者的测量结果,四个模型尚未作为一个完整链路统一评测。

安装与使用

需要 Python 3.10+ 和 PyTorch 2.2+。从仓库安装并转录一个文件:

pip install git+https://github.com/kobimusic/dettato
dettato song.mp3 -o out/

会生成 out/song.mid 和 out/song.json(包含轨道、音符数、调音估计、所用鼓模型)。权重首次使用时从 Hugging Face Hub 下载,模型都在 dettato 模型集合。命令行支持多个文件和文件夹(递归搜索),在 out/ 下保留目录结构;有 GPU 时自动使用,加 --device cpu 可强制用 CPU。

Python 调用:

import dettato

result = dettato.transcribe("song.mp3")
result.save_midi("song.mid")
for track in result.tracks:
    print(track.name, track.program, track.is_drum, len(track.notes))

批量处理时先调用 Dettato.from_pretrained("cuda") 创建一次对象,再逐文件 transcribe,避免重复加载模型。每个阶段也可单独使用(dettato.transcriber、dettato.evidence、dettato.grouper、dettato.drums)。离线加载权重时,把 DETTATO_WEIGHTS 环境变量指向包含四个模型仓库(各带 config.json 和 model.safetensors)的文件夹。

使用约束

  • 音高范围限于 88 个钢琴键,同一个键最多同时两个音。
  • 乐器命名只是大致准确:爵士乐中大约四分之一的萨克斯或主音吉他音符可能被分到钢琴轨;合成器较多的音乐命名更不可靠,管乐团录音的命名也较粗糙。
  • 鼓模型要求音频采样率不低于 40 kHz,低于该值的音源会跳过鼓轨。
  • 输出是演奏型 MIDI:音符时间跟随录音,不量化到节拍。需要可演奏的乐谱级结果时,作者推荐 Songscription 或 Klangio。
  • 推荐使用 CUDA GPU:在 RTX 5060(8 GB)上 4 分钟歌曲约 15 秒;在笔记本 CPU 上,15 秒片段含模型加载耗时 87 秒。
  • 音频用 soundfile 读取;无法读取的格式(m4a/aac、部分 mp3)会交给 ffmpeg,需保证它在 PATH 中。
  • 代码和权重采用 Apache-2.0,但分组器和鼓模型的部分训练数据集带非商业条款。

HotRepo 点评

项目于 2026-11-20 进入新项目榜,在约一小时的统计窗口内新增 10 个 Star,当时总数为 111 Star、8 Fork。该口径只反映短时增速,不能据此判断模型在实际音乐上的效果,作者本人也建议先用目标音乐试听再决定是否采用。

本文由 AI 根据项目 README 生成,更新于 ,以项目官方文档为准。

相关推荐

  1. DamRsn/NeuralNote一款在 DAW 中本地运行的音频转 MIDI 深度学习插件。C++3,381