GPT-6.2 Astra y Sol fracasan en SimpleBench: quedan por debajo del humano promedio
Astra 6.2 and Sol 6.2 flop at Simple Bench
En el benchmark SimpleBench, que mide razonamiento cotidiano con más de 200 preguntas de sentido común, los nuevos GPT-6.2 Astra y GPT-6.2 Sol de OpenAI se hundieron hasta el puesto 17 y el 30, con 77,3% y 69,9%, muy por debajo del 83,7% de la línea base humana. Mientras tanto, Claude Fable 5.2 de Anthropic lidera con 94,9% y Gemini 4 Neon le sigue de cerca. La lección: el conocimiento memorizado no basta para resolver preguntas básicas.
Los resultados de SimpleBench confirman que el conocimiento memorizado y la recuperación aproximada de razonamiento que utilizan los LLM de frontera todavía no siempre alcanzan para responder preguntas básicas.
- 0xbadc0de5
Habiendo usado mucho tanto Sol-6.2 como Astra-6.2 en los últimos días (además de usar regularmente Claude Opus y Fable), son mejoras notables respecto a las versiones anteriores y comparables a Opus-5.5 y Fable-5.2.
He dejado de fiarme de cualquiera de estos influencer-benchmaxxers porque, por lo general, no ejecutan ninguno de los flujos de trabajo que me interesan: es completamente sintético. El único benchmark que importa es lo bien que funciona cualquier modelo para tu caso de uso actual.
- nsingh2
Los modelos 6.2 son relativamente meticulosos y exhaustivos. Buenos revisores de código o para matemáticas.
Sin embargo, parecen ser relativamente peores a la hora de inferir la intención, o de lidiar con tareas vagas y poco especificadas de una forma que a un humano le parecería razonable. He visto a gente referirse a ellos en broma como "autistas".
Todos los modelos GPT desde GPT-5 en adelante parecen tener este tipo de estilo, algunos peores que otros.
- fullstackwife
Tengo una idea para un benchmark: entrena un modelo con un corte de conocimiento, digamos 1945, y simula el desarrollo del mundo durante los siguientes 70 años. Luego mira si inventa las cosas que inventaron los humanos, y también si evita nuestros errores y callejones sin salida.
- ricardobeat
Neon / Carbon / Argon / Hydrogen están todos en la misma liga, ¿por qué lanzaron cuatro modelos diferentes?
Neon no parece especialmente fuerte en programación frente a Argon, y Opus 5.5 sigue superando a ambos según mi experiencia. Las neuronas que perdió y que lo hacían incompetente en inglés parece que se dedicaron por completo a ser un monstruo en ingeniería.
- algoth1
Phillip ha actualizado la clasificación y, sorprendentemente, cada nuevo lanzamiento de modelo ha mejorado sustancialmente, excepto los modelos de OpenAi. 6.2 Sol es el 30.º, mientras que 6.1 Sol es el 10.º. Astra 6 es el 9.º, Astra 6.2 es el 15.º. En comparación, Fable 5.2 se convirtió en el 1.º y Fable 5.1 es el 7.º. Todos los nuevos modelos de google, incluso hydrogen, están por encima de la línea base humana. En cambio, Astra 6 pro es el único modelo de openai ligeramente por encima de la línea base humana, en el 8.º puesto.
- martinjc
Según mi experiencia, siento que sigue las instrucciones demasiado bien. Las zonas grises se eliminan por completo, y claro, eso a veces está bien. Pero para mi caso de uso, me gustaba cuando la respuesta se sentía inteligente y dispuesta a hacer preguntas.
- davidmurdoch
He estado notando que 6.2 Sol no actúa como un arquitecto y no duda en absoluto de sus instrucciones ni del código existente. Vuelve a las respuestas de "tienes razón en replicar" cuando se le cuestiona lo más mínimo sobre sus planes o su razonamiento.
- hoppp
Todos los nuevos modelos de Gemini rinden mejor en esto que Opus 5.5.
¿Es algo que se pueda notar durante el uso en la vida real?
Me gusta mucho opus 5.5, es perfecto y no he probado los nuevos modelos de gemini.