RollTab - MIDI piano autocomplete on-device
Show HN: I trained a 125M model to autocomplete piano on-device
RollTabは、iPhoneやiPadにMIDIキーボードを接続し、演奏をリアルタイムでAIが補完してくれる無料アプリです。125MパラメータのTransformerモデルをデバイス上で動作させ、約108ノート/秒の速度でピアノ演奏を自動生成します。独自のMIDI表現とデータクリーニング、DPOによる事後学習により、自然で音楽的な継続演奏を実現。コード進行やメロディの提案が可能で、練習や作曲のインスピレーションに役立ちます。
「GitHub Copilotのピアノ版を目指して開発しました。モデルが次の音符を予測し、あなたの演奏を美しく補完します。」
HNでの議論
113- tom_vidal
この種の「オートコンプリート」は、実際にはクラシック作曲家の訓練の基本でした。興味がある方には、ロバート・ガーディンゲンの論文『Gebrauchs-Formulas』を強くお勧めします。https://www.researchgate.net/publication/259731561_Gebrauchs... また、1800年代後半のディナーパーティーで、ラフマニノフを含む4人のロシア人作曲家がこのパターン認識と生成のゲームをプレイしている様子を収めた録音を聴くこともできます：https://youtu.be/PlFPOWuwBHI?is=EKBK7QQkJs4MsTCU 当時の作曲家は、ピアノを使わずに楽譜を見て聴覚イメージするだけでこれを実行できました。
- jancsika
動画内のAIの最初のサブフレーズの終わりが間違っています。最初のサブフレーズとしてシンプルなI - vii - Iを演奏しました。その後、AIは属七の和音で応答を開始しました。私が思い浮かべる古典派時代の大部分のケースでは、AIのサブフレーズは半終止で終わるはずです。つまり、あなたが演奏した部分を含めると、最初の2つのサブフレーズは次のようになるはずです：
I - vii - I
V(7) - I - V
しかし、AIは珍しいことに、その2番目のサブフレーズで完全終止を取りました。これは音楽において、脚本術で「ダブルビート」と呼ばれるものに相当するかもしれません。
さらに、その後のフレーズには半終止がありません。すべて主調における完全終止であり、さらに2番目のフレーズでは主音上に置かれた下属和音による終止（プラガル終止）が2回あります。各サブフレーズは単に主音を延長しているだけです。しばらく主音に留まるための慣用的な方法（「ホルン五度」など）はありますが、この抜粋は慣用的ではなく、作曲家が偶然にも和声の展開を忘れてしまったように聞こえます。
この抜粋は、J.S.バッハからロベルト・シューマンまでの時代に生きた作曲家なら誰でも、音楽的な「冗長な文」のように聞こえると主張します。そしてマーラー以降の作曲家なら、あなたが慣習に反抗しているとみなすでしょう。
言い換えれば、これを使って和声の課題を仕上げる学生は、自分でやった場合と同じ評価を受けることになるでしょう。
編集：明確化
- joshuamerrill
クラシックピアニストであり、ソフトウェアプロダクトデザイナーでもある者です。
このプロジェクトと、多数のAIベースのUXデザインツールとの間には、多くの共通点があると感じます。音楽であれUIであれ、作業の「生成」部分のコストがゼロになった今、残るのはセンスだけです。
そして、センスの多くは、行き止まりであることが判明する可能性を探索し、切り捨てることから生まれます。このようなモデルが、行き止まりをより速く見つけるのに役立ち、あるいは時折、宝石のような作品を生み出すのに役立つという考えは、私は大好きです。
追伸：もう一つの不気味な『エリーゼのために』を聴きたいなら、ベートーヴェン自身による1822年の改訂版をどうぞ：https://www.youtube.com/watch?v=s24TtiGgb6k。私たちが皆知っている1810年版は、よりシンプルでバランスが取れていました。しかし、それはともかく、ベートーヴェンはどちらも出版しませんでした。
- jasonjmcghee
これは素晴らしいプロジェクトであり、非常にHNらしいと思います。なぜコメントが成果物に焦点を当てているのか分かりません。あなたはもっと多くのことを学び、はるかに興味深い経験をしたはずです。
一つ、投稿で言及されていないと思ったことがあります（見逃したかもしれませんが）— データの規模はどれくらいでしたか？事前学習と事後学習に使用したサンプル数はいくつですか？
- goda90
これは、音楽著作権訴訟と戦うために、可能なメロディをすべてアルゴリズムで生成するプロジェクトを思い出させます。
- karmelapple
『エリーゼのために』の冒頭が聞こえて、それが信じられないほど異なる方向に進むのは、驚くほど不安にさせられます。
- mare5x
本当にクールですね！NeurIPSでライブで見たデモを思い出します：https://www.youtube.com/watch?v=8s3V922h3CU （論文はこちら：https://openreview.net/pdf?id=3yeBer3J5z）。
このような創造的なAI作品が好きなら、他の「NeurIPS Creative AI Track 2025」の提出作品も見ることをお勧めします。
- timmb
フランソワ・パシェのContinuator（2003年まで遡る、階層的マルコフモデルを使用）を思い出します。