Warum Machine-Learning-Forschungsagenten nicht überanpassen

Why don't machine learning research agents overfit?

Neue Forschung von Amazon Science zeigt, dass ML-Modelle selbst nach vielen Iterationen auf denselben Benchmarks nicht überanpassen – im Widerspruch zu Lehrbuchvorhersagen. Experimente mit ML-Forschungsagenten deuten darauf hin, dass erfolgreiche Strategien hochgradig komprimierbar sind: Presst man die Strategie eines erfolgreichen Agenten durch einen Informationsengpass (nur 16 Tokens), kann ein frischer Agent ohne Gedächtnis die Leistung reproduzieren. Das bedeutet, die Strategie erfasste echte Struktur, nicht auswendig gelernte Daten. Kompression liefert sowohl eine Erklärung als auch ein Diagnosewerkzeug: Strategien, die tatsächlich überanpassen, bestehen den Kompressionstest nicht.