La 'atención' que desató la revolución de la IA
Is 'Attention' the Essence of Intelligence?
En 2014, Dzmitry Bahdanau ideó un mecanismo matemático llamado 'atención' para mejorar la traducción automática. Tres años después, el transformer de Google lo convirtió en la base de modelos como ChatGPT y Claude. ¿Es la atención la esencia de la inteligencia, artificial y humana?
Porque es AI-complete, el modelado del lenguaje es la definición más cercana que tenemos a la inteligencia.
- antics
Como persona de NLP, me resulta muy difícil respaldar esta explicación, porque el transformer de Vaswani et al. (tal como se describe aquí) simplemente no funciona hasta que agregas el ingrediente más importante de todos: la codificación posicional.
La mayor parte de la semántica de una oración está indicada por el orden preciso en que aparecen los tokens. Esto es más fácil de ver en un idioma como el inglés, ya que es visible de dos maneras muy prominentes.
Primero, la morfología es bastante derivativa, lo que significa que puedes seguir agregando sufijos a las cosas y los hablantes de inglés generalmente entenderán lo que quieres decir. Por ejemplo, agrega más sufijos a esa palabra: derivational-ish-ly. Probablemente nunca hayas escuchado esta variante específica, pero aún así probablemente tengas alguna idea de lo que significa. El transformer solo puede capturar esta semántica si tiene alguna representación del hecho de que los sufijos modifican el significado de la raíz de la palabra (presumiblemente algo como `deriv`). El inglés codifica esto enteramente por la posición de los sufijos con respecto a la raíz. Sin la información posicional, no hay forma de recuperarla, y las oraciones perderían gran parte de su significado, ya que el inglés depende en gran medida de esta construcción.
Segundo, el inglés tiene relativamente pocos casos y, por lo tanto, depende mucho del orden de las palabras para indicar qué es el sujeto y qué es el objeto. El inglés específicamente es Sujeto-Verbo-Objeto, y el instinto de los hablantes nativos de inglés de usar el orden SVO es tan fuerte que los encontrarás insertando sustantivos y p […]
- jvanderbot
Regla #1 para leer artículos de CS: no confíes en los términos antropomorfizados. Regla #2: definitivamente no extrapoles esos términos a la mente real.
Por supuesto, la atención es casi con certeza una heurística que usan los lectores, pero incluso mencionarla como clave de la inteligencia plantea muchísimas preguntas sobre los LLM y la mente...
- scarmig
El término "atención" confunde más de lo que revela, cambiando terminología bien conocida por una analogía débil de cómo funciona el cerebro humano. Kernel smoothing es todo lo que necesitas.
- andy_ppp
El título original del artículo es pegadizo, pero es más como "la codificación posicional y la atención y el paralelismo entre las cabezas de atención son todo lo que necesitas..."
Y resulta que probablemente necesitas una cantidad masiva de cómputo, aproximadamente 1/3 de RLHF, todos los datos del mundo y millones de personas conectando sus datos privados a la IA para que aprenda de ellos, entre otras cosas :-/
- 0xWTF
Esta es la idea central, en palabras del propio autor original, que era estudiante de posgrado:
https://www.quantamagazine.org/is-attention-the-essence-of-i...
"Las oraciones con pronombres como 'it' ilustran el desafío que supera la atención. Considera: 'The animal didn’t cross the street because it was too tired.' Y: 'The animal didn’t cross the street because it was too wide.' Para traducir estas oraciones correctamente al francés, un modelo de IA debe determinar que, en la primera, 'it' se refiere al animal, que es una palabra masculina en francés, por lo que la traducción debe usar esa forma del pronombre, il. Pero en la segunda oración, 'it' se refiere a la calle, una palabra femenina que requiere un pronombre diferente, elle. ¿Cómo puede la máquina darse cuenta de esto?"
"Bahdanau recordó haber hecho ejercicios de traducción cuando aprendía inglés en la escuela. Para escribir cada siguiente palabra de su oración traducida, tenía que mirar alrededor de todo el texto fuente para averiguar qué debería venir después. 'Literalmente tienes tu oración fuente a la izquierda y tu escritura a la derecha, y estarás, como, girando la cabeza, izquierda-derecha, izquierda-derecha', dijo. 'Ese proceso es lo que expresé como un mecanismo neuronal.'
Esa simplicidad me parece la verdadera señal de que esta es la idea real. El autor hace un buen trabajo llevando al lector a través de una larga lista de distracciones y evocando una sensación de un camino hacia una idea, y luego, ahí está la idea: una codificación simple de una tarea simple: "¿Cuál es la siguiente palabra? ¿Cómo hago […]