AI 实验室是否在 Pelicanmaxxing？
Are AI Labs Pelicanmaxxing?
Simon Willison 发起的“鹈鹕骑自行车”SVG 生成测试，已成为 AI 领域著名的非正式基准。面对数十亿美元的市场竞争，AI 实验室是否会针对这一特定提示词进行优化（Pelicanmaxxing）？我生成了 1,008 张 SVG 图像，涵盖 8 种动物与 6 种交通工具的组合，并让 GPT-5.6 Luna 进行评分分析。结果显示，鹈鹕和自行车的评分并未显著高于其他组合，甚至排名靠后。统计回归分析也表明，没有实验室在“鹈鹕骑自行车”这一特定任务上表现出超出随机波动的优势。数据证明，目前 AI 模型并未针对这一基准进行过度优化。
当数十亿甚至数万亿美元的利益攸关，而一个出色的结果可能说服用户时，稍微优化一下你的模型难道不是一种诱惑吗？
HN 评论区
240- simonw
这太棒了
我一直随意抽查其他动物和其他交通工具的组合，因为我梦寐以求的情况是抓到一个 AI 实验室，证明它们在“骑自行车的鹈鹕”这一项上明显优于其他组合。
如果某个实验室专门在我的这个愚蠢基准测试上作弊，那真的会非常滑稽。
Dylan 在这里的方法论——生成 1008 个 SVG，覆盖 8x6 的组合——比我之前考虑的任何方案都要稳健得多。
他的结论是：
> 没什么特别突出的。我找不到任何案例，显示鹈鹕骑自行车的图片看起来比该模型网格中的其他图片明显更好。
- mauvehaus
> 所有 21 张鹈鹕骑自行车的图片，跨越所有七个实验室，都面朝右侧。没有其他动物/交通工具组合是这样。
> 然而，面朝右侧很常见：1008 张图片中有 60% 都是这样。普遍程度取决于动物和交通工具，而自行车是两个最明显的交通工具之一
当然，骑自行车的鹈鹕是面朝右侧的。自行车的传动系统在右侧。如果你想展示任何能显示传动系统的自行车，为了不受到车架遮挡，你肯定会展示它的右侧。可以很有把握地推测，它们的训练数据反映了这一点。
引用：https://www.rei.com/c/bikes
编辑补充：
据我所知，无论动物面朝哪个方向，所有自行车都显示为朝右（GPT 5.6-Terra，样本 1/3）。此外，在所有骑手有腿的情况下（即不是鲸鱼），骑手的两条腿都在自行车的右侧。这表明对自行车如何运作缺乏真正的理解。
- stusmall
我很高兴有人对此进行了数据统计。Simon Willison 发的每一篇关于 SVG 的帖子后面，总有人 dismissively（轻蔑地）说“我敢肯定他们现在已经在训练数据里包含了”。尽管有一篇逻辑严密的博客文章详细说明了这有多容易被抓包。[1] 很高兴看到有人花时间对“愚蠢的小动物骑愚蠢的小自行车”进行了定量分析。
1. https://simonwillison.net/2025/Nov/13/training-for-pelicans-...
- elliotto
这里有个自行车爱好者兼 AI 爱好者。作者观察到所有自行车图片都朝右，这几乎肯定与从右侧拍摄自行车的惯例有关。从右侧看，你能看到传动系统——这对美学很好，对营销也很好——传动系统上有品牌标识和标签，买家会想知道是什么型号。
网上有很多关于如何拍摄自行车的指导，每张自行车的销售图片都是从右侧拍摄的。你可以通过 Google 搜索“待售自行车”的图片来佐证这一点。
- SyneRyder
哈。他们不是在“鹈鹕化（Pelicanmaxxing）”……他们是在“水獭化（Ottermaxxing）”。
看看 GLM 5.2 和 Deepseek V4 的“飞机上的动物”示例。在每一个案例中，动物都站在飞机顶上，这显然是对“飞机上的动物”这一概念的误解……除了水獭。水獭是坐在飞机的座位上，看着窗外。
那是 Ethan Mollick 的“水獭在飞机上使用 WiFi”图像基准测试。
https://www.oneusefulthing.org/p/the-recent-history-of-ai-in...
（有时浣熊也坐在飞机里面，但浣熊是一个常见的备用基准。我很惊讶它没有举着一个牌子说它爱垃圾。）
另外，Grok 似乎在第二轮中非常非常享受“飞机上的鲸鱼”，而 GPT Terra 在三轮之后决定用户拼写太差，于是生成了“平原上的羚羊（Antelope On A Plain）”。
编辑：我保证我是人类，但我刚刚注意到我开头用的“那不是 x……那是 y”的句式。我有点被 Claude 洗脑了——抱歉。
- bnfcl
这很有趣，我昨天其实做了一个类似的实验。
寻找同样的证据，但加了一个转折：检查如果没有指定特定的鸟类或交通方式，模型是否会选择生成“骑自行车的鹈鹕”。
- Wowfunhappy
> 更合理的解释是他们在“SVG 化（SVGmaxxing）”
没错——而且到了这一步，你必须问自己“maxxing”到底意味着什么，毕竟“提高绘制 SVG 的能力”是一项有用的技能。
- waterproof
我最近和 Claude 有过如下对话：
我：下面这段文本里有多少个 P？[粘贴文本]
Claude：有 14 个 P，都是小写（没有大写 P）
我：那“strawberry”里有多少个？
Claude：单词“strawberry”里有 3 个 R。