「Minecraft再現」はベンチマークではない
Recreating Minecraft Is Not a Benchmark
GPT Astraの公開後、SNSは「Minecraftを1プロンプトで再現」「ペリカンの自転車SVG」などのデモで溢れた。著者はこれらを「デモベンチマーク」と呼び、視覚的で分かりやすいが、次期モデルで完璧にできるよう各社が最適化するため、もはやモデルの実力を測れないと指摘。公開・静的・有名なテストはトレーニングデータに漏れ、Inkling Smallが旗艦モデルに迫るスコアを出す例も挙げる。代替案として非公開の問題セットを持つ評価を提案しつつ、デモの重要性は認めつつも、評価に使うべきではないと結論づける。
テストは、スケジュール通りに完璧にできるものは、能力ではなく準備を測定する。それはベンチマークの定義に反する。
HNでの議論
72- bluegatty
正しい答えだが、論旨は間違っている。
「ラボはこれを最適化している」という例は、間違った論旨だ。
AIが「見かけ上の精巧さ」を持つものを恣意的に生成することはそれほど難しくない。問題は、常に曖昧な要素を含む仕様に沿ってそれを生成でき、かつ合理的に修正できることだ。
画像生成を見てみよう。魔法のボタンを押すと「自転車に乗ったペリカン」が得られるが、ペリカンの「帽子」だけを変えることはできない。もう一度魔法のボタンを押すと、まったく別の「自転車に乗ったペリカン」が得られる。
これが根本的な思い込みだ。
これは「コードを書くことが仕事だ」という思い込みに似ている。しかし実際は違う。研究、設計、ドキュメント、統合、そして「どこかに置かれなければならない」ノウハウこそが、出力の形を適応・成形できるようにするものだ。
恣意的なコード出力は、まったく無価値ではないが、ほぼ無価値だ。「あと80%、そしてさらにもう80%、その先にもう80%」という類のものだ。もう少しましな出発点に過ぎない。
AIの研究能力は、デモには映えないが、おそらくより強力だ。
- 0xb0565e486
オンラインでAstraが美しい3D作品を作るのをよく見かけるが、私が古いRuneScapeのアセット（非常に詳細なガイドラインも試した）を渡して新しいもっともらしいアセットを生成させようとすると、見事に失敗した。
現在の（最先端の）モデルには、「斬新な」ものを作ることに関して、まだ何かが大きく欠けていると思う。2004年当時のグラフィックスでさえも。
それとも、私のプロンプトが悪いのだろうか？
- orbital-decay
これは説得力に欠ける。なぜなら、(a) ペリカンテストは主観的であり、漏れるものが何もない。直接的な答えが存在せず、極めて微弱な選好シグナルがあるだけだ。(b) 同じ小さなモデルでも、主題を変えると実際にうまく機能するからだ。一部のモデルは、特定の分野（この場合は2Dレイアウトやベクターグラフィックス）で本当に優れているように訓練されている。それは特定のレシピとデータセット次第だ。これらのテストが雰囲気チェックとして不適切な実際の理由は、一般化、記憶、訓練の選好を切り離すことを何もしないことだ。特に人気ソフトウェアのワンショット生成は、記憶が支配するため、何のテストにもならない。
AAIIも、一般的なスコアやベンチマークもあまり役に立たない。天気予報が欲しいのに、地球の平均気温を見ることはないだろう。
（実際、「ワンショット」という用語が「1つの例」以外の意味で乗っ取られたのはいつからだろう？）
- hombre_fatal
> それが問題だ。これらのテストは、もはやモデルの良さを教えてくれない。なぜなら、ラボが次のリリースまでにこれらのテストに正確に最適化するのは簡単だからだ。
しかし、その主張は証明されていない。モデルはMinecraftの再現には驚異的だが、「Minecraft」という言葉を別のゲームやカスタムゲームに置き換えた瞬間、台無しになるのだろうか？
それは私が見ているものではない。私のフィードには、Astraを使ってDiabloから自分が思いついたランダムなアイデアまで、あらゆるゲームを再現している人々が溢れている。gpt-5.6-solで何週間もかけて反復したであろうアニメーションのような、とんでもなく洗練されたディテールで、しかもAstraなら一発で生成できる。
- mrkramer
>GPT-6-Astra-Max
「PlayStation 4コントローラーのSVGを、できるだけきれいに生成してください」
所要時間: 11分54秒
画像は使用されなかった
10秒を期待していたのに、12分もかかるとは。12分かかるなら、自分でやった方がましだ。それに「画像は使用されなかった」とはどういう意味だ。コンソールのコントローラーを含む大量の画像で訓練されているのではないのか？