DishwasherBench: ¿pueden los modelos frontera cargar un lavavajillas?
DishwasherBench – Can Frontier Models Stack a Dishwasher?
DishwasherBench es un juego de carga de lavavajillas sobre una simulación física de una máquina real, diseñado para evaluar modelos de lenguaje y jugable en el navegador. El juego, llamado Spotless, simula el programa Eco 50 de un Bosch SMV4HAX40G con física de cuerpos rígidos, y otorga puntos por cada pieza que sale limpia. Los modelos pueden jugar vía MCP. La versión 0.1.0 es un lanzamiento temprano: la simulación está calibrada con un solo lavado real y aún no evalúa bien la vajilla plana y los cubiertos.
Una puntuación hoy muestra si un jugador cargó bien y puso tazas, vasos y ollas boca abajo. Todavía no muestra si los platos y los cubiertos se apilaron de modo que se laven limpios.