Dan Luu zerlegt drei Benchmarks – und zeigt, warum sie in die Irre führen

Bad benchmarks and evals: Senior SWE-Bench, napkin math, and winter tires

Dan Luu analysiert drei Arten von Benchmarks: Napkin-Math-Performance-Schätzungen, KI-Modell-Evals wie Senior SWE-Bench und die Behauptung, Winterreifen seien bei Kälte besser als All-Season-Reifen. Er deckt auf, dass die Napkin-Math-Tabellen falsche Latenzen für Random-Memory- und SSD-Zugriffe angeben, die Senior-SWE-Bench-Ergebnisse fragwürdig sind und die Google-KI-Zusammenfassung zu Winterreifen eine unzuverlässige Quelle darstellt.