GPT-6.2 Astra и Sol провалились на SimpleBench, где школьник обходит топовые LLM

Astra 6.2 and Sol 6.2 flop at Simple Bench

В бенчмарке SimpleBench от OpenAI новые GPT-6.2 Astra и GPT-6.2 Sol показали 77,3% и 69,9% — ниже базовой линии обычного человека в 83,7%. При этом GPT-6 Astra годом ранее набрал 83,6%, а лидеры рейтинга Claude Fable 5.2 от Anthropic и Gemini 4 Neon от Google держатся около 95%. Бенчмарк из 200+ вопросов на пространственно-временное мышление, социальный интеллект и задачи-ловушки показывает: заученные знания и приблизительное рассуждение не всегда заменяют базовую логику.

Результаты SimpleBench подтверждают, что заученные знания и приблизительное извлечение рассуждений, которые используют передовые LLM, пока не всегда достаточны для ответа на простые вопросы.
  1. 0xbadc0de5

    Активно использовав и Sol-6.2, и Astra-6.2 за последние несколько дней (а также регулярно используя Claude Opus и Fable), могу сказать, что это заметные улучшения по сравнению с предыдущими релизами и они сопоставимы с Opus-5.5 и Fable-5.2.

    Я перестал доверять всем этим инфлюенсерам-бенчмаксерам, потому что они обычно не запускают ни одного из тех рабочих процессов, которые интересны мне — это полностью синтетика. Единственный бенчмарк, который имеет значение, — это то, насколько хорошо любая модель работает для твоего текущего случая использования.

  2. nsingh2

    Модели 6.2 относительно скрупулёзны и дотошны. Отличные ревьюеры кода или математики.

    Однако они, похоже, относительно хуже выводят намерение или справляются с расплывчатыми и недоопределёнными задачами так, как это показалось бы разумным человеку. Я видел, как некоторые в шутку называют их «аутистами».

    Все модели GPT, начиная с GPT-5, похоже, имеют такой стиль, некоторые хуже, чем другие.

  3. fullstackwife

    У меня есть идея для бенчмарка: обучить модель на срезе знаний, скажем, 1945 года, и смоделировать развитие мира на следующие 70 лет. А затем посмотреть, изобретёт ли она то, что изобрели люди, и избежит ли наших ошибок и тупиковых путей.

  4. ricardobeat

    Neon / Carbon / Argon / Hydrogen — все в одном диапазоне, зачем они вообще выпустили четыре разные модели?

    Neon не кажется особенно сильным в кодинге по сравнению с Argon, а Opus 5.5 по-прежнему обходит обоих в моём опыте. Нейроны, которые он потерял, сделавшие его некомпетентным в английском, похоже, были полностью посвящены тому, чтобы быть монстром в инженерии.

  5. algoth1

    Phillip обновил таблицу лидеров, и, что удивительно, каждый новый релиз модели стал существенно лучше, кроме моделей OpenAi. 6.2 Sol на 30-м месте, тогда как 6.1 Sol — на 10-м. Astra 6 — 9-я, Astra 6.2 — 15-я. Для сравнения, Fable 5.2 стала 1-й, а Fable 5.1 — 7-й. Все новые модели Google, даже hydrogen, выше человеческого базового уровня. Напротив, Astra 6 pro — единственная модель openai, немного превышающая человеческий базовый уровень, на 8-м месте.

  6. martinjc

    По моему опыту, мне кажется, она слишком хорошо следует инструкциям. Серые зоны полностью вырезаны, и, конечно, иногда это хорошо. Но для моего случая использования мне нравилось, когда ответ казался умным и готовым задавать вопросы.

  7. davidmurdoch

    Я обнаружил, что 6.2 Sol не ведёт себя как архитектор и совершенно не сомневается в своих инструкциях или существующем коде. Он снова отвечает «вы правы, что возражаете», когда его хоть чуть-чуть спрашивают о его планах/рассуждениях.

  8. hoppp

    Все новые модели Gemini показывают лучшие результаты в этом, чем Opus 5.5.

    Можно ли это заметить при использовании в реальной жизни?

    Мне очень нравится opus 5.5, он идеален, а новые модели gemini я не пробовал.

Ещё за этот день

2026-11-21