项目介绍

NeuralNote 是一个音频效果插件（VST3、AU 或独立应用），用于在 DAW 内把音频转成 MIDI。v2 改用 Kyutai 和 Mirelo 的 MuScriptor 转写模型在本机运行，替代了旧的 Basic Pitch，并新增对整段混音的多乐器转写以及内置多乐器合成器试听（README、MuScriptor）。

你可以实时录制或把音频文件拖进插件，选择乐器（或 Automatic）后点击 Transcribe。钢琴卷帘会随着解码逐步填充，完成后可把 MIDI 拖到 MIDI 轨道或保存为文件。转写在后台进行，可暂停并在关闭插件或 DAW 会话后继续（使用方法）。适合希望从录音中还原音符、又不愿上传音频的制作人和音乐人。

快速使用

1. 从官网下载页或 Releases 页面下载对应平台的安装包。macOS 有已签名并公证的 Apple Silicon 与 Intel 安装包；Windows x64 安装包未签名，首次运行可能出现系统警告；Linux 暂无预编译版本（安装说明）。
2. 安装后打开插件或独立应用，首次启动时下载模型。转写模型不随安装包附带。
3. 在插件中录制轨道，或拖入音频文件（.wav、.aiff、.flac、.mp3、.ogg，macOS 另支持 .m4a）。
4. 选择乐器或 Automatic，点击 Transcribe，可按需用内置合成器试听。
5. 把 MIDI 拖到 MIDI 轨道，或保存到磁盘。

模型与硬件

MuScriptor 提供 small、medium、large 三档，可在顶栏的 Model 按钮中下载和切换（模型与性能）。下载体积约为 210 MB、620 MB 和 2.7 GB。模型存放在 macOS 的 ~/Library/NeuralNote/models、Windows 的 %APPDATA%\NeuralNote\models、Linux 的 ~/.config/NeuralNote/models；手动放入的文件需与官方下载的文件名和大小一致才会被识别。

GPU 通过 macOS 的 Metal、Windows/Linux 的 Vulkan 使用；可在 Settings > Compute device 中选择 Auto、指定 GPU 或 CPU。在 Apple M1 Pro 上，README 给出的约实时倍率为：small 在 Metal 上约 3.5x、CPU 上约 2x；medium 在 Metal 上约 1.5x；large 在 Metal 上约 0.5x，且 large 不建议用 CPU。目前仅测试过少量 GPU，遇到硬件问题可反馈（性能说明）。

从源码构建

需要 git、CMake、C++23 编译器、Python 3，以及首次配置时的网络访问，用于拉取 ggml 和合成器音色库（构建说明）。带子模块克隆后配置并构建：

git clone --recurse-submodules https://github.com/DamRsn/NeuralNote
cd NeuralNote
cmake -B build -DCMAKE_BUILD_TYPE=Release
cmake --build build --config Release

产物位于 build/NeuralNote_artefacts/Release/。macOS 的 GPU 构建需要 Xcode 的 Metal 工具链；Windows 的 GPU 构建需要 Vulkan SDK，启用 ASIO 需签署 Steinberg 的 ASIO 许可协议，或用 -DNEURALNOTE_ASIO=OFF 关闭（构建说明）。

复用转写引擎

转写引擎位于独立仓库 muscriptor.cpp，是 MuScriptor 的 C++/ggml 移植，在本仓库中以子模块方式链接。它接收 16 kHz 单声道 float32 音频并返回音符事件，公开 API 见 docs/API.md。

许可证

NeuralNote 的代码采用 Apache-2.0，但 MuScriptor 模型权重并非开源：以 CC BY-NC 4.0 分发，仅限非商业用途（许可证、CC BY-NC 4.0）。商业使用需要另行考虑。

HotRepo 点评

v2 将模型换成 MuScriptor，后者是参数量 103M–1.4B 的 transformer，而 Basic Pitch 不足 17K，同时把转写范围从单件乐器扩展到整段混音。转写完全在本地进行，对不愿上传录音的音乐人更有吸引力。HotRepo 记录到该项目在 2026-11-03 的 C++ 日榜上位列第 11，当天新增 17 Star；2026 年 5 月 Hacker News 上有一个 41 分、2 条评论的讨论，样本太少，不足以得出判断。采集数据中只有一个快照，也没有长期的 Star 序列，目前无法据此描述趋势。