「Minecraft再現」はベンチマークではない

Recreating Minecraft Is Not a Benchmark

GPT Astraの公開後、SNSは「Minecraftを1プロンプトで再現」「ペリカンの自転車SVG」などのデモで溢れた。著者はこれらを「デモベンチマーク」と呼び、視覚的で分かりやすいが、次期モデルで完璧にできるよう各社が最適化するため、もはやモデルの実力を測れないと指摘。公開・静的・有名なテストはトレーニングデータに漏れ、Inkling Smallが旗艦モデルに迫るスコアを出す例も挙げる。代替案として非公開の問題セットを持つ評価を提案しつつ、デモの重要性は認めつつも、評価に使うべきではないと結論づける。