Qwen 3.8 27B identifica juegos de Atari solo leyendo los pesos de la red neuronal
Qwen 3.8 27B on my laptop can interpret model weights, too
Simon Willison probó en su portátil el experimento del paper sobre Weight-Space Programming: pasar los pesos en bruto de una red entrenada con refuerzo y pedirle al modelo que adivine a qué juego corresponde, sin herramientas ni código. Qwen 3.8 27B, de 17 GB, acertó Pac-Man, Pong y Breakout tras entre 46 minutos y una hora de razonamiento, aunque falló con Freeway. El autor rebaja el entusiasmo: el paper mezcla dos capacidades distintas y la hazaña no anuncia el fin del código fuente.
No estoy listo para declarar que la era del código fuente ha terminado y que nuestro futuro consiste en máquinas incomprensibles editando sus propios pesos de modelo de formas incomprensibles.
- variaga
No hago ninguna afirmación sobre las capacidades de un modelo concreto, pero todos estos posts de "pueden interpretar los pesos del modelo" me traen a la mente la frase de Enrique IV de Shakespeare
GLENDOWER: Puedo invocar espíritus desde las profundidades abisales.
HOTSPUR: ¿Por qué, yo también puedo, o cualquier hombre puede, pero vendrán cuando los llames?
Yo también puedo interpretar pesos, pero ¿será correcta esa interpretación?
- zkmon
Qwen-3.8-27B - lo mejor que ha pasado en la IA hasta ahora.
Esta cosa puede lograr los mismos resultados que los modelos de frontera, si estás dispuesto a desempeñar el papel de arquitecto o tomador de decisiones de alto nivel. Guíalo un poco aquí y allá como un tech lead y consigues que todo se haga.
El dinero que pagas por los modelos de frontera es exactamente para externalizar ese trabajo de dirección de alto nivel a los agentes.
- athrowaway3z
Ojalá tengamos un nuevo benchmark: ¿Qué tan bien puede un modelo ajustar un conjunto de pesos para producir un pelícano en una bicicleta?
- data-ottawa
Quizás me estoy perdiendo algo, pero ¿puede Qwen 3.8 alterar los pesos de Qwen 3.8?
Hay muchas neuronas conocidas en los modelos Qwen más antiguos que desde hace mucho se sabe que inducen cambios de comportamiento (véase el Qwen malvado cambiando un solo peso).
Mi pregunta se reduce a cuánto está entrenado frente a ser capaz de entender realmente los pesos. Presumiblemente un modelo de la misma generación no está entrenado con ninguna fuente que diseccione esa generación. ¿Y cuánto influyen conceptos conocidos desde hace más tiempo como los steering vectors, los J spaces, los LoRAs?
Esto no explica los casos de entrenamiento de juegos, que a mí me parecen muy impresionantes.
- layer8
> No estoy listo para declarar que la era del código fuente ha terminado y que nuestro futuro implica máquinas incomprensibles editando sus propios pesos de modelo de formas incomprensibles.
Eso suena un poco a biología; quizás la IA se vuelva así.
- NitpickLawyer
Simon, ¿podrías intentar reproducir el Experimento 5 del post del blog, si tienes ocasión? Al parecer esta persona lo intentó [1] con modelos de API y solo los modelos más recientes pueden lograr el impresionante 10-20x frente a la línea base de PPO.
[1] - https://nitter.netbub.com/AlexKrentsel/status/21173766837246...
- olalonde
Estaba pensando en esta línea hace un par de semanas[0] - concretamente si podríamos tratar la manipulación de pesos como una especie de tarea de programación/compilación. Esperaba que requiriera mucho más entrenamiento con conjuntos de datos sintéticos. Es sorprendente que los modelos existentes ya sean algo decentes en ello.
- mirekrusin
Entonces, ¿quién será el primero en hacer que un modelo mire, actualice y recargue sus pesos en un bucle?