GPT-6 Astra brilla en computer use y desata rumores sobre transformers en bucle
GPT-6 Astra, looped transformers, and hidden reasoning
GPT-6 Astra, el nuevo modelo de OpenAI, destaca en tareas gráficas y de computer use, con un 99.9% en ARC-AGI-3. The Information informa que usaría "recurrent depth" o looped transformers, donde los bloques se reutilizan varias veces. El autor explora esta arquitectura y si realmente oculta las cadenas de pensamiento, y sugiere actualizar los archivos de instrucciones AGENTS.md y SKILL.md para modelos más capaces.
Astra es el mejor modelo que he usado hasta ahora, y es desproporcionadamente bueno en tareas de renderizado 3D y animación (en relación con otros modelos).
- shawntan
Para los centrados en la investigación, hay algunas referencias en mi entrada de blog aquí sobre qué tipos de problemas computacionales requieren mínimamente cuánto CoT para resolverse: https://blog.wtf.sg/posts/2023-02-03-the-new-xor-problem/
En particular, el trabajo de Will Merrill: https://arxiv.org/abs/2310.07923
En cuanto a cómo los universal transformers (transformers en bucle, pero todos han olvidado el trabajo previo) afectarán esto, Will Merrill (de nuevo) tiene un artículo aquí (https://arxiv.org/abs/2503.03961) que discute exactamente esto.
El universal transformer original se llama "universal" porque si permites decisiones de bucle por token, teóricamente puede ser Turing completo sin necesidad de CoT (hay algunos matices aquí sobre los niveles de precisión utilizados).
En cuanto a si tener poco o ningún CoT es "inseguro": No está claro que el CoT del modelo revele cómo llega realmente a la respuesta. Como ejemplo, ¿qué pasa si proporcionan una respuesta antes del CoT? (https://arxiv.org/html/2603.01437v2)
Si esto ya está en duda, no deberíamos confiar en el CoT para monitorear el razonamiento del modelo.
Como siempre, hay muchos matices en el tema una vez que te pones a trabajar con los detalles.
- siva7
Astra estaba increíble hasta el lunes, pero algo pasó el martes, ahora se siente como Sol. Lamento la productividad perdida, pero espero que nos devuelvan el Astra original.
- wolttam
Si haces un bucle de un modelo transformer completo sobre sí mismo, eso parece, por definición, razonamiento oculto.
Si la salida del modelo es su rastro de razonamiento, y simplemente lo retroalimentas al modelo en tiempo de inferencia en lugar de emitirlo, entonces es por definición oculto (pero esperaría que pudieras extraer tanto este rastro como un rastro de salida final más profundo).
- andai
La demo de uso de computadora con MSPAINT me dejó boquiabierto.
Supongo que no es muy diferente de los pelícanos en SVG, en términos de lo que hace, pero sigue siendo increíble verlo funcionando en tiempo real así.
- libraryofbabel
Todos los interesados en las interioridades de los LLM deberían leer a Sebastian. Es genial.
El resumen aquí es que el reciente artículo de "The Information"[0] que informaba que GPT 6 Astra usaba "profundidad recurrente" o "transformers en bucle" hizo que sonara como algo nuevo y aterrador ("¡técnica secreta!") que dificultaba el monitoreo del tren de pensamiento. De hecho, es lo mismo que apilar más capas de transformer, excepto que reutilizas los pesos y así ahorras memoria de GPU. Sigue produciendo un token a la vez, y las posiciones de la secuencia de tokens no interactúan de ninguna manera "recurrente" diferente a una arquitectura LLM normal.
Así que, aún puedes monitorear el tren de pensamiento con estos modelos sin problema... bueno, si eres OpenAI, de todos modos. Los usuarios no han podido ver un rastro no resumido desde los días de o1, porque los laboratorios temen la destilación de sus modelos por parte de laboratorios chinos.
(Hay algunas preocupaciones legítimas de interpretabilidad sobre apilar capas de transformer sin fin, pero las conocemos desde hace mucho tiempo. Y el "bucle" aquí no es realmente la fuente de ningún problema nuevo, excepto en la medida en que es una forma barata de añadir más capas.)
[0] https://www.theinformation.com/articles/secret-technique-beh...
- hankbond
Qué artículo tan claro y bien escrito. Solo tengo un entendimiento básico de la arquitectura de LLM y pude seguirlo y ganar intuición todo el tiempo.
- andai
> Quiero evitar una carrera hacia la no monitorizabilidad iniciada por informes confusos. La profundidad del grafo de cómputo de nuestros modelos frontera actuales, incluido Astra, está dentro de un factor de dos respecto a GPT-4. OpenAI ha trabajado para preservar y utilizar el monitoreo de la cadena de pensamiento desde nuestros primeros modelos de razonamiento. Nos importa profundamente esta técnica, ya que puede darnos una visión de cómo la alineación del modelo se generaliza desde su distribución de entrenamiento. Creo que es frágil y, desafortunadamente, tiende en una dirección negativa, por razones no contingentes a cambios de arquitectura sobre las que escribiré pronto. Pero hay cosas que podemos hacer para fortalecerlo, y es un objetivo central de nuestro programa de investigación actual.
- Jakub Pachocki (Científico Jefe de OpenAI)
Me pregunto qué tan útil es esto realmente para la alineación. ¿No determinamos ya que saben cuándo están siendo evaluados, y simplemente dicen lo que creen que quieres oír?
- andai
Anecdótico, pero experimenté cognición en bucle con una combinación peculiar de sustancias.
Pude tratar los pensamientos como objetos sólidos y manipularlos iterativamente. (Normalmente son más como "destellos" o "fogonazos" que se desvanecen rápidamente. Así que supongo que sería como el equivalente mental de los trazadores).
Pude apilar pensamientos uno encima de otro, como tablones. (Puedo hacer algo similar o de forma limitada, ¡pero los tablones no son ni de lejos tan anchos!)
Lamentablemente no hice ninguna prueba, pero subjetivamente mi cognición se vio enormemente mejorada. (Pasé unos años poniéndome al día con las ideas que tuve esa noche).
Puede que no tenga relación, pero la parte sobre "transformers en bucle" me hizo preguntarme si hay un incremento "paso a paso" similar aquí.
Edición: Vale, 6.8-18% es un poco menos dramático de lo que me refería.