Декодирование мысленного чтения по ЭЭГ: 240 000 слов без инвазивных электродов
Decoding silent reading from non-invasive EEG
Исследователи из проекта arXiv представили метод, позволяющий извлекать лексическую и семантическую информацию из ЭЭГ во время чтения про себя. Используя 19-канальную сухую ЭЭГ и 49 часов записей одного участника, они обучили контрастивный декодер (сверточный энкодер и трансформер) с CLIP-подобной целью, сопоставляя короткие окна ЭЭГ с эмбеддингами слов из большой языковой модели. Декодирование слов (оценка по top-10) значительно превышало случайный уровень, работало для редких слов и улучшалось с ростом данных без признаков насыщения. Удаление затылочных и височных электродов снижало точность на треть, но не влияло на отслеживание контекста. Работа показывает, что открытый словарь слов можно восстанавливать из ЭЭГ при чтении про себя, и что производительность ограничена данными, а не алгоритмом.
Эти результаты показывают, что информация на уровне слов из открытого словаря может быть извлечена из ЭЭГ во время чтения про себя, и что декодирование ограничено данными, а не насыщено.
- dustfinger
Было бы неплохо добавить "право на приватные мысли" в Билль о правах и Канадскую хартию прав и свобод, а также нечто подобное в законы о правах и свободах других стран, где это возможно.
- PMunch
Наличие нормальных интерфейсов субвокализации было бы так круто! Хотя 19-канальная ЭЭГ кажется немного инвазивной (с социальной точки зрения; я понимаю, что здесь она используется в медицинском контексте).
- SubiculumCode
Я правильно понимаю, что они заявляют примерно о 15% точности предсказания слов?
- b00ty4breakfast
Промышленный комплекс Torment-Nexus продолжает расти. Очень хотелось бы поговорить с исследователями, которые работают над такими вещами. Уверен, что это исследование откроет побочные направления, но как можно игнорировать ту очевидную антиутопию, которую вы помогаете воплотить в жизнь? Преуменьшение роли гуманитарных наук в STEM-образовании оборачивается катастрофой.
- tbenst
Другими словами, ЭЭГ улучшает попадание в топ-10 из 512 слов-кандидатов с 20,3% до 27,7%. Это вряд ли можно назвать "декодированием слов с открытым словарным запасом". В статье также отсутствует критически важный контрольный эксперимент: подача Llama предыдущего истинного текста и проверка того, насколько хорошо она ранжирует текущее слово среди того же набора кандидатов.