Декодирование мысленного чтения по ЭЭГ: 240 000 слов без инвазивных электродов
Decoding silent reading from non-invasive EEG
Исследователи из проекта arXiv представили метод, позволяющий извлекать лексическую и семантическую информацию из ЭЭГ во время чтения про себя. Используя 19-канальную сухую ЭЭГ и 49 часов записей одного участника, они обучили контрастивный декодер (сверточный энкодер и трансформер) с CLIP-подобной целью, сопоставляя короткие окна ЭЭГ с эмбеддингами слов из большой языковой модели. Декодирование слов (оценка по top-10) значительно превышало случайный уровень, работало для редких слов и улучшалось с ростом данных без признаков насыщения. Удаление затылочных и височных электродов снижало точность на треть, но не влияло на отслеживание контекста. Работа показывает, что открытый словарь слов можно восстанавливать из ЭЭГ при чтении про себя, и что производительность ограничена данными, а не алгоритмом.
Эти результаты показывают, что информация на уровне слов из открытого словаря может быть извлечена из ЭЭГ во время чтения про себя, и что декодирование ограничено данными, а не насыщено.