GPT-6 Astra решает ARC-AGI-3: 99,9% с провайдерским адаптером и обгоняет людей по эффективности действий
OpenAI's GPT-6 Astra on ARC-AGI-3
ARC Prize сообщает о результатах OpenAI GPT-6 Astra на новом бенчмарке ARC-AGI-3. В стандартном окружении Astra (max) набирает 62,7% на Semi-Private за $26K, а с провайдерским адаптером — 99,9% за $19K. Модель превзошла медианного человека по эффективности действий на 96% уровней, используя в среднем на 51,7% меньше действий. Анализ показывает, что Astra строит компактные символьные модели мира, разрабатывает собственный алгебраический язык для планирования и создает кастомные инструменты в песочнице. Авторы подчеркивают, что это значительный шаг вперед, но не считают результат доказательством AGI.
Astra использовала меньше действий, чем медианный протестированный человек, на 96% уровней.
- at1as
Мне нравятся задачи Эрдёша как бенчмарк. Модели продолжают их решать, но сейчас темп довольно вялый, поскольку самые лёгкие плоды уже сорваны.
Из https://epoch.ai/latest/announcing-frontiermath-erdos
> Только GPT-6 Astra что-то решила: 2 из 68 задач. Она опровергла задачу 74, найдя контрпример, ценой $218 и 15 часов рабочего времени, и доказала задачу 126, ценой $247 и 16 часов.
> За все попытки GPT-6 Astra решила 5 из 68 задач хотя бы раз: две вышеупомянутые, плюс задачу 1, которую она опровергла, и задачи 548 и 571, которые она доказала. Большинство остальных задач было предпринято от двух до пяти раз в общей сложности (172 попытки), и ни одна не была решена. На достижение этих пяти решений ушло более $220 000 вычислений за все попытки, по сравнению с примерно $20 000 на сам прогон бенчмарка.
Это говорит о реальном улучшении возможностей, но впереди ещё очень длинный хвост, который моделям предстоит освоить.
- malfist
Разве решение головоломки вроде змейки за минимальное число ходов действительно определяет интеллект?
- Betelbuddy
«Для сравнения затрат: во время нашего контролируемого тестирования людям-участникам платили $115 за 90-минутную сессию плюс $5 за каждую завершённую игру. Участники проходили примерно девять игр за сессию, что составляет около $12,78 за попытку игры до бонусов.
Большая часть этой платы компенсирует время участника и его готовность пройти тест, а не энергию, которую использует его мозг (более близкий аналог для сравнения с ИИ). Если рассматривать только энергию мозга и оценивать её как электроэнергию, оценка снижается примерно до 0,6 цента за сессию, или 0,067 цента за попытку игры».
Ну, не знаю как вы, а я праздную людей из плоти и крови...
- modeless
$360 за головоломку. Когда тестировали людей, на каждую головоломку уходило около 10 минут. Если цена/производительность продолжит падать теми же темпами, что и раньше, это будет стоить меньше минимальной зарплаты в США для людей уже через два года. А для Филиппин — через три.
- an0malous
Была ли у OpenAI возможность запускать тесты ARC-AGI-3 ранее, чтобы создать специальную обвязку для конкретных тестов из набора? Даже со стандартной обвязкой, если бы они знали задачи заранее, они могли бы использовать обучение с подкреплением под наблюдением, чтобы научить модель решать именно эти тесты.
- fastball
Уверены ли мы, что рой хакеров Astra не взломал серверы arcprize.org и не выкрал приватный набор для оценки, чтобы добиться этих 99%?
- dwohnitmok
> Прогресс Astra помогает прояснить, какие возможности ИИ недостижимы, а какие вопросы остаются открытыми.
Ладно. Но я не думаю, что вся эта статья вообще объяснила, какие возможности ИИ остаются недостижимыми. Я что-то упустил? Кроме «о, похоже, она может стать ещё более сверхчеловеческой в ARC-AGI-3, чем сейчас»?
- 6thbit
Мгновенный режим без рассуждений показал себя очень хорошо
none 35,2%, $49 791 96,7%, $23 457
35,2% на стандартной обвязке — это выше, чем Opus 5 на высоком уровне.