DishwasherBench: Können Frontier-Modelle einen Geschirrspüler einräumen?
DishwasherBench – Can Frontier Models Stack a Dishwasher?
DishwasherBench ist ein browserbasiertes Spiel namens Spotless, bei dem Spieler einen Bosch SMV4HAX40G mit starren Körpern beladen und dann einen Eco-50-Waschgang mit Strahlen, Tropfen, Schmutz und Chemie simulieren. Punkte gibt es für saubere Teile. Das Benchmark prüft Sprachmodelle über MCP und OpenAI-kompatible Endpunkte; erste Ergebnisse liegen vor. Die Physik des Beladens ist deterministisch, die Bewertung von Tellern und Besteck ist noch unzuverlässig.
A score today shows whether a player packed well and put cups, glasses and pots in mouth down. It does not yet show whether plates and cutlery were stacked so that they wash clean.