Dettato - 20MパラメータでSOTA達成の音声-to-MIDI変換モデル
Show HN: I made an audio-to-MIDI model 60x more efficient

Dettatoは、わずか20Mパラメータで音声をMIDIに変換するオープンソースモデルです。MuScriptor 1.3Bの約65倍小型ながら、公開ベンチマークではMirelo A2M v1.1 Proをも上回るスコアを記録。最大の特徴は、著作権のある録音を一切使わず、合成音源やCC楽器、SoundFontを組み合わせて学習している点で、出力は商用利用も可能です。演奏MIDIの生成に特化しており、楽譜化が必要な場合はSongscriptionやKlangioの併用が推奨されています。
著作権のある録音を使わないという制約は足かせではなく、むしろイノベーションを促し、最終的にはより優れたモデルにたどり着けるのです。
HNでの議論
10- jsphweid
MagentaのMT3モデル以来、ずっと情報を追っていませんでした。これはずっと良く感じるし、かなり小さいですね。本当に素晴らしいです、ありがとう!
- peaseagee
オープンでパブリックドメインの録音でトレーニングしたこと、おめでとうございます。この種の作業がより倫理的な方法でできることを証明してくれてありがとう。
- oever
オーディオからMIDIへの変換は非常に野心的に聞こえます。MIDIがオーディオに合っているかどうかをどうやって検証するのですか?有用なビート検出につながりますか?例えば、録音内のオーディオオフセットを楽譜のラベルにマッピングする方法がとても欲しいです。しかし、かなり標準的なジャズの録音でもビート検出はしばしば失敗します。
このモデルは、曲(セクションではなく曲全体)が3/4拍子か4/4拍子かを知っていて、すべての小節のオンセットを出せますか?それとも、すべてのMIDIノートは時間に基づくだけで、リズム的に整理されていないのですか?