Deja de pensar que los LLM solo predicen la siguiente palabra
"Next-token predictor" is the wrong mental model for LLMs
Los modelos de lenguaje grandes (LLM) no son solo predictores de la siguiente palabra. Aunque su arquitectura genera tokens de forma autorregresiva, el entrenamiento moderno incluye aprendizaje por refuerzo con recompensas verificables (RLVR), que les permite explorar nuevas secuencias y aprender de resultados no vistos en los datos de entrenamiento. El autor compara con un motor de ajedrez que explora todas las partidas posibles, y concluye que la etiqueta de 'predictor de siguiente token' describe solo la forma, no el contenido codificado.
Un simulador de un asistente útil y el conocimiento descubierto mediante exploración pueden codificarse en exactamente el mismo bucle de siguiente token.
- mofeien
Describirlo como un "predictor de la siguiente palabra" en el sentido de que esto significaría que está fundamentalmente limitado a solo una fracción de un paso inferencial es doblemente incorrecto:
1. Para seleccionar incluso la primera palabra de una oración significativa, ya tiene que tener la estructura y el significado de lo que sigue capturados en algún lugar dentro, principalmente en sus pesos/activaciones o indexados por su vector de estado.
2. Lo que ves cuando usas un LLM no es la predicción de la siguiente palabra directamente junto al prompt, sino que sigue un bloque de longitud variable de predicción de la siguiente palabra que logró progresar en el problema de tu prompt, y que solo resume los resultados.
- Systemerror7A69
Para ser honesto, creo que entiendo el punto que el artículo intenta hacer, y hasta cierto punto estoy de acuerdo, pero también pienso que el punto no está realmente bien expresado.
El núcleo del argumento, tal como lo entendí, es que los LLM no solo usan datos existentes en el entrenamiento, sino también nuevos. Eso está bien y es bueno, y no puedes simplemente asumir que un LLM está simplemente mezclando todos sus datos para darte un promedio de todo lo que se le alimentó, pero al menos yo todavía lo llamaría un "predictor de la siguiente palabra".
No está usando solo datos de entrenamiento, sino que lo que hace es predecir la siguiente palabra para llegar a la solución. Hasta donde llega mi conocimiento amateur, los LLM todavía van aproximadamente token por token, decidiendo cuál encaja mejor dado el contexto.
Simplemente no predice basándose en sus datos de entrenamiento, sino que predice basándose en RLVR y más, tratando de llegar a la solución óptima (en la medida en que las soluciones PUEDEN ser óptimas).
Y honestamente creo que tener esto muy en cuenta es útil para comprender y tratar con los LLM.
- bluegatty
'Predictor de la siguiente palabra' es un modelo mental limitado, pero en realidad es mucho mejor que cualquier otro.
'Coincidencia de patrones' es una mejor intuición que 'razonamiento', aunque creo que nominalmente, usar el término 'razonamiento' está perfectamente bien en ese contexto. Es solo una palabra cargada que trae demasiado a la mesa.
'No ha visto el patrón' es una mejor descripción de las limitaciones de la IA porque realmente no generaliza muy bien en absoluto. Las adaptaciones descritas en el artículo no cambian eso.
Esas son mutaciones, no expansiones de capacidad.
- Planktonne
No voy a dejar de describir las cosas con precisión porque alguien generó un artículo que continuamente socava su propio punto principal. Limitar la forma en que hablamos y pensamos sobre los LLM a un conjunto muy estrecho de términos no nos ayuda.
EDIT: redacción más suave
- stanleykm
> Llamar al segundo sistema un "predictor de la siguiente jugada" sería extraño. No está tratando de predecir qué jugada apareció a continuación en un conjunto de datos. Está tratando de elegir una jugada que gane.
No entiendo la distinción aquí. ¿Trabajar hacia atrás desde un conjunto de estados ganadores en lugar de trabajar hacia adelante desde el estado actual cambia de alguna manera si es una predicción o no?
- a3w
Los errores que los LLM típicamente cometían para mí eran buscar "schmutz" como una palabra yiddish, y me aparecía "schmuck" en la pantalla. Pensé, ¿por qué el error estúpido? El modelo de predictor de la siguiente palabra lo explica perfectamente.
O empezar con "sí". Y este bloqueo temprano era una mentira total, en la discusión que se convirtió en "sí, podría parecer así, pero totalmente no por razones". Así que debería haber escrito "No", en la parte superior, pero no pudo autoeditarse.
Pero es bueno que esto le dé una visión más matizada, podría tener que actualizar mis prioridades.
- teekert
Está escrito en Claudish, o quizás un humano que ha estado leyendo demasiado Claudish recientemente. Estoy empezando a volverme alérgico al Claudish. Todavía no estoy completamente allí, pero está en un punto de inflexión que realmente vale la pena explorar y ser preciso al respecto.
- jvanderbot
Una mejor declaración podría ser:
Los sistemas agénticos actuales pueden estar *construidos* a partir de predictores de la siguiente palabra que son conceptualmente simples, pero debido a los marcos agénticos, la invocación recursiva, el uso de herramientas y la *fuerte* inversión en aprendizaje por refuerzo en estos contextos y para aplicaciones específicas, ya no pueden ser considerados como "meramente" predictores de la siguiente palabra.
El trabajo agéntico moderno es probablemente más un paradigma de "sistema emergente a partir de reglas simples e interacciones complejas" que una tecnología genuinamente nueva.