AIラボは「ペリカンmaxxing」しているのか？7つの最先端モデルで1,008枚のSVGを検証

Are AI Labs Pelicanmaxxing?

Simon Willison氏の「ペリカンが自転車に乗るSVG」プロンプトは、AIモデルの非公式ベンチマークとして有名だ。この記事では、7つのフロンティアモデル（GPT-5.6 Terra、Claude Sonnet 5、Gemini 3.5 Flash、Grok 4.5、Qwen3.7-Max、GLM-5.2、DeepSeek V4 Pro）を対象に、8種類の動物×6種類の乗り物の計48プロンプトで各3サンプルずつ、合計1,008枚のSVGを生成。LLMジャッジによる採点と特徴抽出を行い、モデルが特定のプロンプトに過剰適合（pelicanmaxxing）していないかを統計的に検証した。結果、ペリカンや自転車の描画能力が特に高いモデルはなく、特定の組み合わせへの過剰適合の証拠は見つからなかった。ただし、SVG全体の最適化やジャッジの偏りなどの限界も指摘している。