GPT-6 Astra resuelve ARC-AGI-3 con un 99,9% y supera a los humanos en eficiencia
OpenAI's GPT-6 Astra on ARC-AGI-3
OpenAI's GPT-6 Astra logra un 99,9% en ARC-AGI-3 Semi-Private con el harness Provider Adapter por $19K, y un 62,7% con el harness Standard por $26K. En este benchmark interactivo, Astra supera la línea base humana en eficiencia de acciones: usa menos acciones que la mediana humana en el 96% de los niveles. Además, desarrolla notación algebraica compacta para modelar los juegos y construye herramientas personalizadas en el harness PRO-LONG. ARC Prize destaca que, aunque es un avance significativo, no considera que esto demuestre AGI.
Una vez que la IA de frontera 'entiende' la mecánica, generalmente ejecuta dentro del rango de eficiencia humana.
- at1as
Me gustan los problemas de Erdos como punto de referencia. Los modelos siguen resolviéndolos, pero a un ritmo bastante lento ahora que la fruta madura ya ha sido recogida.
De https://epoch.ai/latest/announcing-frontiermath-erdos
> Solo GPT-6 Astra resolvió algo: 2 de los 68 problemas. Refutó el problema 74 al encontrar un contraejemplo, a un costo de $218 y 15 horas de tiempo de trabajo, y demostró el problema 126, a un costo de $247 y 16 horas.
> En todos los intentos, GPT-6 Astra resolvió 5 de los 68 problemas al menos una vez: los dos anteriores, más el problema 1, que refutó, y los problemas 548 y 571, que demostró. La mayoría de los problemas restantes se intentaron entre dos y cinco veces en total (172 intentos), y ninguno fue resuelto. Alcanzar estas cinco soluciones tomó más de $220,000 en cómputo en todos los intentos, en comparación con aproximadamente $20,000 para la propia ejecución del benchmark.
Lo cual implica una mejora genuina en la capacidad, pero todavía hay una cola muy larga por delante que los modelos necesitarán seguir mejorando para capturar.
- malfist
¿Resolver un juego de puzzle tipo serpiente en el menor número de movimientos es realmente lo que define la inteligencia?
- Betelbuddy
"Para una comparación de costos, durante nuestras pruebas controladas, los participantes humanos recibieron $115 por sesión de 90 minutos, más $5 por juego completado. Los participantes intentaron aproximadamente nueve juegos por sesión, lo que equivale a unos $12.78 por juego intentado antes de las bonificaciones.
La mayor parte de esta tarifa paga por el tiempo del participante y su disposición a realizar la prueba, más que por la energía que usa su cerebro (un proxy más cercano para comparar con la IA). Si consideramos solo la energía del cerebro y la valoramos como electricidad, la estimación baja a aproximadamente 0.6 centavos por sesión, o 0.067 centavos por juego intentado."
Bueno, no sé ustedes, pero yo estoy celebrando a los humanos basados en carne...
- modeless
$360 por puzzle. Cuando probaron con personas, tomó unos 10 minutos por puzzle. Si el precio/rendimiento sigue cayendo al mismo ritmo que lo ha hecho, esto costará menos que el salario mínimo de EE. UU. para humanos en dos años. Tres para el salario mínimo de Filipinas.
- an0malous
¿Pudo OpenAI ejecutar las pruebas ARC-AGI-3 anteriormente para poder construir un arnés personalizado para las pruebas específicas del conjunto? Incluso con el arnés estándar, si conocieran los problemas de antemano, podrían haber usado aprendizaje por refuerzo supervisado para enseñar al modelo cómo resolver estas pruebas específicas.
- fastball
¿Estamos seguros de que un enjambre de hackers de Astra no comprometió los servidores de arcprize.org y exfiltró el conjunto de evaluación privado para lograr ese 99%?
- dwohnitmok
> El progreso de Astra ayuda a aclarar qué capacidades de IA están fuera de alcance y qué preguntas siguen abiertas.
Vale. Pero no creo que este artículo haya explicado en absoluto qué capacidades de IA siguen fuera de alcance. ¿Me perdí algo? Aparte de "oh, supongo que aún podría volverse más sobrehumano en ARC-AGI-3 de lo que ya es"?
- 6thbit
El modo instantáneo/sin razonamiento funcionó extremadamente bien
none 35.2%, $49,791 96.7%, $23,457
35.2% en el arnés estándar, eso está por encima de Opus 5 en alto.