초음파로 혀를 촬영해 '소리 없는 말'을 인식하는 AI, 15.6% 오류율 달성

Silent speech with ultrasound

Aleph Neuro 연구진이 혀의 초음파 영상만으로 소리 내지 않는 말을 인식하는 AI 시스템을 개발했다. 50시간 분량의 데이터로 학습한 이 시스템은 공개 어휘 음성 인식에서 15.6%의 단어 오류율(WER)을 기록했는데, 이는 100만 시간 데이터로 학습한 입술 읽기 시스템의 12.5%에 근접한 수치다. 연구진은 초음파가 혀의 움직임을 직접적으로 보여주기 때문에 EMG나 레이더 같은 간접적인 방법보다 정확하다고 설명한다. 또한 이 시스템은 새로운 화자에게도 일반화되어, 미국식 영어 억양을 사용하는 사람이라면 바로 사용할 수 있었다. 연구진은 향후 프로브를 경량화하고 하이드로겔 같은 실용적인 커플링 소재를 도입하면 웨어러블 기기로 발전시킬 수 있을 것으로 기대한다.