Goodharts Gesetz holt jeden Benchmark ein, dem du vertraust

Goodhart's Law Comes for Every Benchmark You Trust

Der Artikel von Mark Guzdial auf dem CACM-Blog argumentiert, dass Goodharts Gesetz – sobald eine Kennzahl zum Ziel wird, hört sie auf, eine gute Kennzahl zu sein – unweigerlich auch für KI-Benchmarks gilt. Er zeigt anhand von Beispielen wie dem Stanford Question Answering Dataset (SQuAD), wie Modelle die Tests „spielen“, statt die zugrunde liegende Fähigkeit zu erlernen, und warnt davor, sich blind auf Benchmark-Ergebnisse zu verlassen. Guzdial fordert mehr Vorsicht bei der Interpretation von KI-Fortschritten und schlägt vor, mehrere Metriken zu kombinieren und reale Anwendungen zu testen.