「露骨なAIスロップ」がDeepMind主催のKaggle賞金25,000ドルを獲得し、物議を醸す

Blatant AI slop just won a 25k USD DeepMind Kaggle Grand Prize

Google DeepMindが主催する「Measuring Progress Toward AGI」ハッカソンで、メタ認知を評価するベンチマーク「MEDLEY-BENCH」がグランプリ（賞金25,000ドル）を受賞した。しかし、2位のチームは、この受賞作が「質・妥当性・明確性・新規性」という審査基準を満たしておらず、データ収集プロセスが不透明で、論文の主張に論理的矛盾があると批判している。受賞作は、モデルが社会的圧力下で自身の不確実性を認識し、信念を適切に更新できるかを評価するものだが、批判者は、その結果の解釈に誤りがあり、測定される4つの能力が実際にはほぼ完全に相関していることを指摘している。