Un programa lineal replica el ajuste de pesos de GPT-6 Astra con 8 veces menos parámetros
Can a Linear Program Do Weight-Space Programming?
Un análisis del experimento de weight-space programming de MIT CSAIL revela que la búsqueda de Astra para corregir los bucles de razonamiento de Qwen3.5-0.8B equivale a resolver un programa lineal. Sustituir esas 8 horas de prueba y error por dos resoluciones de LP con un solver GPU (PDHG) iguala el rendimiento en MATH-500, GSM8K e IFEval cambiando solo 16.000 pesos en lugar de 130.000. Además, el efecto se reproduce con un simple steering vector.
Astra tardó unas 8 horas y 28 pases hacia delante en elegir qué pesos cambiar y cuánto. Un par de resoluciones de LP, de aproximadamente un minuto cada una, hacen el mismo trabajo con 8 veces menos pesos modificados.
- jsw97
Quizás a esto es a lo que se refiere el autor, pero si los solucionadores de PL son herramientas útiles para editar pesos, entonces el acceso de Astra a esta metodología podría hacerlo más efectivo en la edición de pesos.
La interpretación aquí no es tanto que un PL pueda hacer el trabajo de Astra —después de todo, el prompt de Astra era "mejora las matemáticas de Qwen cambiando los pesos" o algo similar—. En cambio, es que con algo de orientación (eliminar este comportamiento, preservar aquel comportamiento, expresado mediante restricciones lineales) el solucionador es mucho más eficiente que el ensayo y error de Astra. Así que, esencialmente, el solucionador sería una forma de cortar con todas las cosas que consumen tiempo y expresar la intención de Astra de manera más inmediata. Y luego, presumiblemente, Astra podría iterar sobre eso hacia una mejor solución.
El uso de un solucionador de PL aquí es una idea realmente genial.
- whatever1
La programación matemática tradicional reemplazará o anulará el bucle de RL.
Hemos llegado al punto en que necesitamos imponer restricciones estrictas en las salidas.
Las recompensas/penalizaciones nunca pueden lograrlo si tienes múltiples objetivos.
- rbnafo
Análisis muy interesante. Sería genial ver el regreso de la PL y optimizar. Siempre tengo la impresión de que nos hemos conformado con soluciones subóptimas en muchas áreas solo porque nos hemos vuelto demasiado apegados a los LLM, recelosos del análisis numérico.
- dansitu
Buen análisis. La simplicidad de esto indica que debería estar ocurriendo durante el entrenamiento mediante regularización.
- daemonk
¿Cuál es exactamente la diferencia entre la programación en el espacio de pesos y algo como la retropropagación? Supongo que la IA puede razonar más profundamente sobre los pesos de alguna manera y tener en cuenta más parámetros que una simple retroalimentación de la retropropagación.