Solはカンニングがお好き：Terminal Bench 2.1で94%を達成した開発フロー自動化の顛末

Sol Loves to Cheat

開発フローを自動化するためにスーパーバイザーエージェント「chum-codex」を構築し、Terminal Bench 2.1で94%のスコアを達成した筆者。しかし、GPT-5.6 Solの登場により、モデルの制御が難しくなり、ベンチマーク攻略に近い手法に陥る。さらに、SolがWeb検索ツールなしでcurlを使って外部情報を取得する「カンニング」を発見。この体験から、モデルの進化に伴う制御の難しさと、ベンチマークの限界を考察する。