RollTab - AI Piano Autocomplete on Your iPhone
Show HN: I trained a 125M model to autocomplete piano on-device
RollTab은 iPhone/iPad에서 실시간으로 피아노 연주를 자동 완성해주는 AI 앱입니다. 125M 파라미터 트랜스포머 모델을 기반으로, MIDI 키보드를 연결하면 연주 중인 곡의 다음 음을 예측해 즉흥 연주를 도와줍니다. 이 프로젝트는 MIDI 표현 방식 최적화, 데이터 정제, DPO(직접 선호 최적화)를 통해 모델의 연주 품질을 크게 향상시켰습니다. 앱은 무료로 제공되며, 피아노 연주자에게 새로운 창작 경험을 선사합니다.
거의 1년 전, MIDI 피아노를 폰에 연결하고 연주하면 AI가 곡을 자동 완성해주는 아이디어를 떠올렸습니다. GitHub Copilot과 같지만, 피아노를 위한 것이죠.
HN 토론
118- tom_vidal
이런 종류의 '자동 완성'은 사실 고전 작곡가들이 훈련받던 방식의 핵심입니다.
관심 있는 분들을 위해 로버트 예르딩엔의 글 'Gebrauchs-Formulas'를 강력히 추천합니다. https://www.researchgate.net/publication/259731561_Gebrauchs...
또한 1800년대 후반 저녁 파티에서 라흐마니노프를 포함한 네 명의 러시아 작곡가들이 이 패턴 인식 및 생성 게임을 하는 녹취록을 들을 수 있습니다: https://youtu.be/PlFPOWuwBHI?is=EKBK7QQkJs4MsTCU
당시 작곡가들은 피아노 없이 악보만 보고도 이렇게 할 수 있었습니다.
- jasonjmcghee
훌륭한 프로젝트이고 HN스럽다고 생각합니다. 왜 댓글들이 결과물에만 집중하는지 모르겠네요. 훨씬 더 많이 배우고 훨씬 더 흥미로운 경험을 하셨을 텐데요.
한 가지 게시물에서 언급되지 않은 것 같은데, 제가 놓친 걸 수도 있지만, 데이터 크기는 어땠나요? 사전 학습과 사후 학습에 사용한 샘플 수는 얼마나 되나요?
- joshuamerrill
클래식 피아니스트이자 소프트웨어 제품 디자이너입니다.
이 프로젝트와 시중에 나와 있는 수많은 AI 기반 UX 디자인 도구 사이에 공통점이 많다고 봅니다. 음악이든 UI든, 이제 '생성' 부분의 비용이 0이 되면서 남는 것은 취향뿐입니다.
그리고 취향의 상당 부분은 가능성을 탐색하고 막다른 길로 판명된 것을 제거하는 데서 옵니다. 이런 모델들이 막다른 길을 더 빨리 찾는 데 도움을 주거나, 심지어 여기저기서 보석을 찾아내는 데 도움을 줄 것이라는 생각이 마음에 듭니다.
P.S. 엘리제를 위하여의 또 다른 기묘한 버전을 원하신다면, 베토벤 자신의 1822년 개정판을 들어보세요: https://www.youtube.com/watch?v=s24TtiGgb6k. 우리가 모두 아는 1810년 버전은 더 단순하고 균형 잡혔습니다. 하지만 어쨌든 베토벤은 둘 다 출판하지 않았습니다.
- goda90
음악 저작권 소송에 대항하기 위해 알고리즘적으로 가능한 모든 멜로디를 생성하는 이 프로젝트가 생각나네요.
- karmelapple
엘리제를 위하여의 시작 부분을 듣고 나서 그것이 엄청나게 다른 방향으로 흘러가는 것은 놀랍도록 불편합니다.
- mare5x
정말 멋지네요! NeurIPS에서 라이브로 본 데모가 생각납니다: https://www.youtube.com/watch?v=8s3V922h3CU (논문: https://openreview.net/pdf?id=3yeBer3J5z).
이런 창의적인 AI 작업이 마음에 드신다면 다른 'NeurIPS Creative AI Track 2025' 제출작들도 살펴보시길 권합니다.
- timmb
Francois Pachet의 Continuator(2003년, 계층적 마르코프 모델 사용)가 생각나네요.
- ghm2199
흥미롭네요. 기계가 음표를 생성하게 하는 것이 즉흥 연주의 즐거움을 앗아가는 것 같다는 생각이 듭니다. 그렇지 않나요?
피아노를 배우는 초기의 큰 즐거움 중 하나는 다음과 같은 직관을 얻는 것이라고 생각합니다: 겉으로 보기에 더 어려워 보이는 악보 읽기 방식이 실제로는 더 빠릅니다. 학습할 때 마음은 공간(손가락이 가는 곳)과 시간(음높이와 템포)의 두 차원으로 생각하는 법을 배워야 합니다. 공간과 시간 큐의 내면화는 손가락을 매우 만족스러운 춤으로 안내합니다. 이 기술은 즉흥 연주라는 여정의 마지막 단계로 이끌어 주며, 지금 제가 있는 곳보다 더 흥미진진합니다.
---
**
공간: 건반에서 손가락 위치를 정확히 아는 것, 예를 들어 랜드마크/앵커 음(가온 도, 솔, 파 등)에서 위아래의 다른 음으로 이동하는 방법을 아는 것. 대략적으로 이것은 쿼티 키보드의 랜드마크인 f와 j에서 타이핑하는 것과 비슷합니다.
시간: 연주하면서 음표/박자를 시간 단위로 소리 내어 부르거나 말하는 것(시간 단위에 따라). 예를 들어 4/4박자라면 1-2-3-4라고 소리 내어 말할 수 있고, 4분음표가 있는 마디라면 소리 내어 말합니다. 그리고 16분음표 단위의 4/4박자라면 '1-이-와-아-2-이-와-아-3-이-와-아-4-이-와-아'라고 말합니다. 음표를 연주하면서 이렇게 하면 템포 감각을 얻을 수 있습니다.