Selbst Gemini 2.5 verlor sich im Kontext: Warum mehr Tokens nicht automatisch bessere KI bedeuten

The State of Context Engineering

Drew Breunig zeigt in seinem Vortrag „Context Fails & Fixes“, wie sich Context Engineering seit dem Ende des „RAG is dead“-Hypes 2024 entwickelt hat. Statt einfach alles in ein riesiges Kontextfenster zu stopfen, kämpfen wir mit vier Fehlermodi: Context Poisoning, Distraction, Confusion und Clash. Ein Beispiel: Gemini 2.5 suchte beim Pokémon-Spielen stundenlang nach Tee, weil das Wissen aus einer neueren Spielversion seine Erinnerung vergiftete. Breunigs Fazit: Die eigentliche Kunst ist zu wissen, wann man deterministisch und wann probabilistisch vorgehen sollte.