長いコンテキストは万能ではない、Geminiはポケモンで「お茶」を探し続けた
The State of Context Engineering
2024年末の「RAGは死んだ」の熱狂から、100万トークン級のコンテキストウィンドウが当たり前になった現在までを振り返る。長いコンテキストには、ポイズニング・ディストラクション・コンフュージョン・クラッシュという4つの失敗モードがある。Gemini 2.5がポケモンで、旧作なのにお茶を探し続けた例や、指示と矛盾する例が増えるほどモデルが指示に従わなくなる研究を紹介し、どこで決定的に、どこで確率的に振る舞うべきかを見極めることが本質だと説く。
お茶を探すタスクはFireRedの重みに含まれていたため、モデルは自身のコンテキストを汚染してしまった。何時間もかけて警備員にお茶を探したり渡したりしようとしていたのだ。