OpenAIのGPT-6 Astra、ARC-AGI-3で人間の行動効率を超える
OpenAI's GPT-6 Astra on ARC-AGI-3
ARC Prizeが公開した評価結果によると、OpenAIのGPT-6 AstraはARC-AGI-3 Semi-Privateで、Standardハーネスでは62.7%（$26K）、Provider Adapterハーネスでは99.9%（$19K）を達成し、いずれも最高スコアを記録しました。さらに、Astraは人間の中央値よりも少ないアクションで96%のレベルを解決し、平均で51.7%少ないアクション数でした。特筆すべきは、Astraが未知の環境をコンパクトな記号的モデルに変換し、独自の代数表記やカスタムツールを生成したことです。ARC Prizeは、これはAGIの証明ではないとしつつも、フロンティアAIの能力におけるステップ関数の変化を示すと述べています。
Astraは、人間の中央値よりも少ないアクションで96%のレベルを解決し、レベルあたり平均で51.7%少ないアクションを使用しました。
HNでの議論
144- at1as
Erdosの問題をベンチマークとして使うのが好きだ。モデルは解き続けているが、低い実が取られた今、進歩はかなり鈍い。
https://epoch.ai/latest/announcing-frontiermath-erdos より
> GPT-6 Astraだけが何かを解いた：68問中2問。74番の問題を反例を見つけて否定し、218ドルと15時間の作業時間を費やし、126番の問題を証明し、247ドルと16時間かかった。
> 全試行を通じて、GPT-6 Astraは68問中5問を少なくとも一度は解いた：上記の2問に加え、否定した1番、証明した548番と571番。残りの問題のほとんどは合計2〜5回試行され（172回の試行）、どれも解けなかった。これらの5つの解答に到達するのに全試行で22万ドル以上の計算コストがかかり、ベンチマーク自体の実行にかかった約2万ドルと比較される。
これは能力の真の向上を示唆するが、モデルが捉えるために改善を続ける必要がある非常に長い裾野がまだある。
- malfist
ヘビのようなパズルゲームを最小手数で解くことが、本当に知能を定義するのだろうか？
- Betelbuddy
「コスト比較のため、我々の管理下でのテストでは、人間の参加者には90分のセッションごとに115ドル、完了したゲームごとにさらに5ドルが支払われました。参加者はセッションあたり約9ゲームを試行し、ボーナス前で1ゲームあたり約12.78ドルでした。
この報酬のほとんどは、AIと比較するためのより近いプロキシである脳のエネルギーではなく、参加者の時間とテストを受ける意思に対して支払われます。脳のエネルギーだけに注目し、それを電気代として価格付けすると、見積もりはセッションあたり約0.6セント、つまり試行ゲームあたり0.067セントに下がります。」
さて、皆さんはどうか知らないが、私は肉でできた人間を祝っている...
- modeless
パズル1問あたり360ドル。人間をテストしたときは1問あたり約10分かかった。価格性能比がこれまでと同じ割合で下がり続ければ、2年以内に米国の最低賃金の人間より安くなるだろう。フィリピンの最低賃金なら3年だ。
- an0malous
OpenAIはARC-AGI-3のテストを事前に実行して、セット内の特定のテスト用にカスタムハーネスを構築できたのだろうか？標準のハーネスでも、問題を事前に知っていれば、教師あり強化学習を使ってモデルにこれらの特定のテストの解き方を教えることができただろう。
- fastball
Astraのハッカースウォームがarcprize.orgのサーバーを侵害し、プライベート評価セットを流出させて、その99%を達成したという確信はあるのか？
- dwohnitmok
> Astraの進歩は、どのAI能力が手の届かないところにあるのか、どの問題が未解決のままかを明確にするのに役立つ。
なるほど。しかし、この記事全体が、どのAI能力が手の届かないままかを説明しているとは思えない。何か見逃しただろうか？「ああ、ARC-AGI-3でさらに超人級的になる可能性があるということか」以外に？
- 6thbit
即時/推論なしの性能が非常に良かった
none 35.2%、$49,791 96.7%、$23,457
標準ハーネスでの35.2%は、Opus 5のハイを上回っている。