Механизм «внимания»: как стажёр из Монреаля запустил революцию ИИ
Is 'Attention' the Essence of Intelligence?
В 2014 году стажёр из Университета Монреаля Дмитрий Багданов предложил механизм «внимания», который позволил нейросетям переводить длинные предложения так же хорошо, как короткие. Три года спустя команда Google создала на его основе архитектуру transformer, а статья «Attention Is All You Need» стала фундаментом для ChatGPT и Claude. Разбираемся, что такое внимание, почему оно оказалось «всем, что нужно», и не лежит ли оно в основе интеллекта — искусственного и человеческого.
«Это же очевидно правильная вещь — из тех, что случаются в науке раз в жизни, когда человеку, не имеющему большого опыта в области, всё вдруг предельно ясно. И это просто сработало. С самой первой попытки».
- antics
Как человек из NLP, мне очень трудно поддержать это объяснение, потому что трансформер Васвани и др. (в том виде, как он здесь описан) просто не работает, пока не добавишь самый важный ингредиент из всех: позиционное кодирование.
Большая часть семантики предложения определяется точным порядком следования токенов. Это легче всего увидеть в таком языке, как английский, поскольку это проявляется двумя очень заметными способами.
Во-первых, морфология в значительной степени деривационная, то есть можно продолжать добавлять суффиксы к словам, и носители английского в целом поймут, что вы имеете в виду. Например, добавьте ещё суффиксов к этому слову: derivational-ish-ly. Вы, вероятно, никогда не слышали именно этот вариант, но всё равно, скорее всего, имеете некоторое представление о том, что он значит. Трансформер может уловить эту семантику только в том случае, если у него есть некоторое представление о том, что суффиксы изменяют значение корня слова (предположительно, что-то вроде `deriv`). Английский кодирует это исключительно позицией суффиксов относительно корня. Без позиционной информации нет способа это восстановить, и предложения потеряли бы большую часть своего смысла, поскольку английский сильно зависит от этой конструкции.
Во-вторых, в английском относительно мало падежей, и поэтому он очень сильно полагается на порядок слов, чтобы указать, что является подлежащим, а что — дополнением. Английский конкретно относится к типу Subject-Verb-Object, и инстинкт носителей английского использовать порядок SVO настолько силён, что вы найдёте их вставляющими существительные и п […]
- jvanderbot
Правило №1 чтения статей по CS — не доверяйте антропоморфизированным терминам. Правило №2 — определённо не экстраполируйте эти термины на реальный разум.
Конечно, внимание почти наверняка является эвристикой, которую используют читатели, но даже упоминание его как ключа к интеллекту вызывает так много вопросов об LLM и разуме...
- scarmig
Термин «внимание» запутывает больше, чем проясняет, заменяя общеизвестную терминологию слабой аналогией с тем, как работает человеческий мозг. Всё, что вам нужно, — это ядерное сглаживание.
- andy_ppp
Оригинальное название статьи броское, но на самом деле оно больше похоже на «позиционное кодирование, внимание и параллелизм между головами внимания — вот всё, что вам нужно...»
И оказывается, вам, вероятно, нужны огромные вычислительные ресурсы, примерно 1/3 RLHF, все данные мира и миллионы людей, подключающих свои личные данные к ИИ, чтобы он учился, среди прочего :-/
- 0xWTF
Это ключевое прозрение, вот слова самого автора — тогда ещё аспиранта:
https://www.quantamagazine.org/is-attention-the-essence-of-i...
«Предложения с местоимениями, такими как “it”, иллюстрируют задачу, которую преодолевает внимание. Рассмотрим: “The animal didn’t cross the street because it was too tired.” И: “The animal didn’t cross the street because it was too wide.” Чтобы правильно перевести эти предложения на французский, модель ИИ должна определить, что в первом случае “it” относится к животному, которое во французском является словом мужского рода, поэтому в переводе следует использовать форму местоимения il. Но во втором предложении “it” относится к улице — слову женского рода, требующему другого местоимения, elle. Как машина может это понять?»
«Бахданау вспомнил, как делал упражнения по переводу, когда учил английский в школе. Чтобы написать каждое следующее слово переведённого предложения, ему приходилось оглядывать весь исходный текст, чтобы понять, что должно идти дальше. “Буквально у тебя исходное предложение слева, а твоё письмо справа, и ты вроде как поворачиваешь голову, влево-вправо, влево-вправо, — сказал он. — Этот процесс я и выразил как нейронный механизм”.»
Эта простота, на мой взгляд, и есть настоящее доказательство того, что это и есть истинное прозрение. Автор хорошо проводит читателя мимо длинного списка отвлекающих факторов и создаёт ощущение пути к прозрению, а затем — вот оно, прозрение: простая кодировка простой задачи: «Какое следующее слово? Как мне […]