El razonamiento no resuelve ningún objetivo: solo encuentra caminos hacia la respuesta
What objective is reasoning solving?
Alex Wang propone ver el razonamiento de los modelos como una búsqueda de caminos en el espacio de tokens: muchas rutas llevan del prompt a la respuesta correcta y cada muestra recorre una. El RL con recompensa verificable maximiza la probabilidad de éxito agregada, no la convergencia de una cadena concreta, y amortiza en los pesos el coste de esa búsqueda hecha durante el entrenamiento. Esto explica por qué alargar una cadena deja de ayudar, por qué las cadenas no son fieles y por qué el reward hacking crece al escalar el RL.
El razonamiento no resuelve en realidad ningún objetivo: solo en agregado, sobre la distribución de caminos, obtenemos una alta probabilidad de éxito.
- htrp
>Soy un investigador radicado en San Francisco. Me gusta imaginar hacia dónde va el mundo y qué hace falta para llegar ahí.
>Hice mi doctorado en ciencias de la computación en Stanford, donde diseñé arquitecturas de contexto largo para modelado de secuencias y memoria. Antes de eso, estudié matemáticas y física en Cornell. Más recientemente, fui científico investigador en Cartesia, trabajando en tokenización en contexto y arquitecturas novedosas (HNets).
No soy el Alex Wang de MSL
- derefr
Resuelve lo mismo que resuelve un "hilo de pensamiento" (la vocalización interna) en el cerebro humano: hay un montón de cosas que "sabes" como recuerdos episódicos de palabras que has oído/leído, pero que aún no has interiorizado mediante la práctica hasta convertirlas en reacciones reflejas. Es mucho más rápido y barato adquirir el recuerdo de unas cuantas palabras que adquirir una habilidad nueva entera, así que terminas absorbiendo muchísimos más recuerdos-de-palabras que habilidades concretas de un corpus de entrenamiento dado.
El razonamiento (es decir, hacer burbujear esas palabras recordadas hacia tu contexto mental, y luego usar sobre ellas un reflejo puente especial de "disparar activaciones sinápticas efectivamente arbitrarias en función del contenido del contexto enmascarado por atención y de un estado en curso", también conocido como "pensamiento de sistema 2") es cómo aprovechas los recuerdos-de-palabras para convertirlos en comportamiento útil. En lugar de ejecutar habilidades nativas incrustadas en tus pesos sinápticos, estás ejecutando una única habilidad nativa muy sofisticada que actúa como intérprete de datos de recuerdos-de-palabras, convirtiendo lenta y trabajosamente las palabras que tienes en mente en más palabras (síntesis), o en asociaciones con otros recuerdos (recuerdos-de-palabras o de otro tipo), o en acciones/salidas, etc.
(Un "truco" especialmente útil de este sistema es la planificación, es decir, encadenar el intérprete a través de "meras palabras" que traen a la mente más "meras palabras" hasta que terminas en palabras que forman una declaración de lo que estás a punto de hacer. Puedes entonces apoyarte en una parte especial del reflejo puente, concretamente el reflejo de "seguimiento de instrucciones", para […]
- piker
> Considera el problema: "¿cuánto es 1 +2 +3 +⋯ +10"? Una solución es sumar los números uno a uno: 1, 3, 6, 10, y así hasta 55. Otra forma es emparejarlos de fuera hacia dentro: 1 +10, 2 +9, 3 +8, 4 +7 y 5 +6 suman 11 cada uno, y cinco pares de 11 dan 55. Ambos caminos llegan a la respuesta correcta, 55.
Ver a mi hijo resolver problemas de matemáticas difíciles me ha forzado a darme cuenta de esto. En mi cabeza hay un único camino "correcto", y a menudo tengo que contenerme para no interrumpir su hilo de pensamiento. Muchas veces simplemente está llegando por una vía distinta.
- vova_hn2
Estoy bastante seguro de que el enfoque actual de incorporar el razonamiento de cadena de pensamiento en los pesos no es el final del camino. Simplemente parece demasiado accidental y ad-hoc.
P. D. ¡El pájaro animado es verdaderamente mágico!
- vatsachak
Alex también tenía el blog de transformers como memoria. Precioso. Que alguien le dé el bolso