OpenAIの最新モデルAstra 6.2とSol 6.2、SimpleBenchでまさかの後退
Astra 6.2 and Sol 6.2 flop at Simple Bench
SimpleBenchは、高校生程度の知識を持つ非専門家が最先端モデルを上回ることを示すために作られた200問超の選択式ベンチマーク。最新のリーダーボードではAnthropicのClaude Fable 5.2が94.9%で首位に立つ一方、OpenAIのGPT-6.2 Astra Proは79.2%、GPT-6.2 Astraは77.3%、GPT-6.2 Solは69.9%と、前世代のAstra Pro(86.5%)から大きく順位を落とした。人間ベースライン83.7%を下回る結果に。
SimpleBenchの結果は、最先端LLMが用いる記憶された知識と近似的な推論検索だけでは、まだ基本的な質問に答えるのに十分でないことを裏付けている。
HNでの議論
155- 0xbadc0de5
ここ数日Sol-6.2とAstra-6.2をヘビーに使ってみた(Claude OpusやFableも定期的に使っている)が、前回のリリースから明らかな改善で、Opus-5.5やFable-5.2と比べても遜色ない。
インフルエンサー系のベンチマックス野郎はもう信用していない。彼らはたいてい私が興味あるワークフローを一切実行していないからね。完全に合成されたものだ。重要なベンチマークは、あるモデルがあなたの現在のユースケースでどれだけうまく機能するか、それだけだ。
- nsingh2
6.2モデルは比較的丁寧で徹底している。優れたコードレビュアーや数学の使い手だ。
しかし、意図を推測したり、曖昧で不十分な仕様のタスクを人間が妥当と感じる方法で処理するのは比較的苦手なようだ。冗談で「自閉症的」と呼ぶ人も見かけた。
GPT-5以降のすべてのGPTモデルはこの種のスタイルを持っているようで、程度の差はある。
- fullstackwife
ベンチマークのアイデアがある:知識カットオフを例えば1945年に設定してモデルを訓練し、その後70年間の世界の発展をシミュレートする。そして人間が発明したものを発明するか、我々の過ちや行き止まりを避けられるかを見るんだ。
- ricardobeat
Neon / Carbon / Argon / Hydrogenはどれも同じような範囲にあるのに、なぜ4つも別モデルをリリースしたのか?
NeonはArgonと比べて特にコーディングが強いわけではないし、私の経験ではOpus 5.5が両方をまだ上回っている。英語が苦手になった原因である失われたニューロンは、工学の変人になることに完全に捧げられたようだ。
- algoth1
Phillipがリーダーボードを更新したが、驚くことに新しいモデルのリリースはすべて大幅に改善している。ただしOpenAIのモデルを除いて。6.2 Solは30位なのに対し、6.1 Solは10位。Astra 6は9位、Astra 6.2は15位。比較するとFable 5.2が1位になり、Fable 5.1は7位。新しいGoogleのモデルはすべて、hydrogenでさえ人間のベースラインを上回っている。対照的にAstra 6 proは8位で、人間のベースラインをわずかに上回る唯一のOpenAIモデルだ。
- martinjc
私の経験では、指示に従いすぎるように感じる。グレーゾーンは完全に排除されていて、確かにそれが良い場合もある。しかし私のユースケースでは、回答が賢く感じられ、質問を投げかける準備ができていると嬉しい。
- davidmurdoch
6.2 Solは建築家のように振る舞わず、指示や既存のコードをまったく疑わないことに気づいた。計画や推論について少しでも問い詰めると、「反論するのは正しい」という反応に戻ってしまう。
- hoppp
新しいGeminiモデルはすべてOpus 5.5よりもこれで良いパフォーマンスを出している。
それは実生活の使用中に気づけるものなのか?
Opus 5.5はとても気に入っている。完璧で、新しいGeminiモデルは試していない。