Un modelo de lenguaje de 27B reescribe sus propios pesos y mejora sin entrenamiento
Language Models Can Rewrite Their Own Weights
Investigadores demuestran que un modelo abierto de 27B puede diagnosticar sus fallos y reescribir sus propios pesos mediante razonamiento, sin gradientes ni entrenamiento. La auto-reescritura logra 6.6 puntos más de precisión en problemas no vistos y, en ocho sesiones consecutivas, la exactitud solo aumenta. Además, repara una copia dañada de sí mismo hasta superar el 80% de la precisión original en tareas de imagen, sin leer los pesos originales. La capacidad emerge con la escala: solo el modelo más grande mejora y se repara.
La barrera entre entrenamiento e inferencia es un límite de nuestras herramientas, no una propiedad de la inteligencia.
- aesthesia
Vale la pena señalar que la única modificación que el modelo hizo para mejorarse a sí mismo fue reducir la longitud de sus trazas de razonamiento para evitar alcanzar el límite de tokens. Esto es básicamente lo mismo que el resultado del reciente artículo sobre programación en el espacio de pesos (https://rikiyat.github.io/blog/weight-space-programming/), que encontró que incluso Astra no fue capaz de mejorar el rendimiento de un modelo sin este tipo de fallo obvio.
- gavinray
¿No lo mostró ya el artículo "sleep" de Google?
https://research.google/blog/the-sleep-framework-a-new-way-f...
> Durante la fase de sueño offline, el modelo desbloquea bloques de memoria Mixture-of-Experts (MoE) preasignados y actualiza sus pesos numéricos usando ejemplos de práctica autogenerados.
- Toutouxc
Espero que alguien pueda explicármelo. Dicen "sin entrenamiento":
> por primera vez, un modelo de lenguaje reescribe sus propios pesos mediante su propio razonamiento y mejora, sin gradientes y sin entrenamiento
> prueba sus ediciones en problemas de práctica y solo envía lo que funciona, cada edición mejora la anterior, y a lo largo de ocho sesiones consecutivas su precisión solo aumenta
Pero esto suena mucho a entrenamiento, y "enviar solo lo que funciona", aunque probablemente no sea descenso de gradiente por definición, también parece algo bastante obvio cuando estás optimizando algo.
- samlinnfer
Me pregunto si pueden entrenar al modelo para que se repare a sí mismo, como aprende CNN a desenfocar (haciendo que la imagen original se vea borrosa y evaluando al modelo en cuán fielmente puede recuperar la imagen original). Se puede evaluar al modelo en cuán fielmente reparó sus propios pesos. Luego el modelo mejora en repararse a sí mismo, y entonces se le indica que repare un modelo que no ha sido dañado y se ve si puede auto-mejorarse recursivamente.
- yieldcrv
Espero que puedan revelarnos cómo hacer lo mismo con nuestra configuración neuronal.
- SamInTheShell
Chris Hay publicó un video mostrando el uso de permitir que un modelo cambie un peso con su LARQL: https://www.youtube.com/watch?v=NLguavIxFFs
- woah
La reciente cosecha de artículos sobre reescritura de pesos es más valiosa por su contenido inspirador que por sus capacidades actuales. En realidad, estos modelos están haciendo ajustes muy simples con scripts de análisis en lugar de comprender los pesos de forma intuitiva como sugieren los artículos.
Sin embargo, una vez que los LLM se preentrenen con grandes cantidades de pesos de LLM serializados y las trazas de razonamiento correspondientes, esto podría cambiar.
- radicalbyte
¿Por qué no podrían? Si puedes ver qué pesos se activan, puedes entrar en un bucle de cambiar > probar > cambiar.
Entiendo que así es como la gente está eliminando la censura, etc., de esos modelos chinos.