DishwasherBench: 최전선 모델이 식기세척기를 제대로 채울 수 있을까?
DishwasherBench – Can Frontier Models Stack a Dishwasher?
Composo가 만든 DishwasherBench는 실제 Bosch SMV4HAX40G 모델을 물리 시뮬레이션한 브라우저 게임 'Spotless'로 언어 모델을 벤치마크한다. 7단계 레벨에서 아이템을 배치하면 Eco 50 프로그램으로 세척을 시뮬레이션해 점수를 매긴다. 현재 버전 0.1.0은 컵, 유리잔, 냄비를 거꾸로 놓았는지 여부는 신뢰할 수 있지만, 접시와 수저의 세척 결과는 아직 정확하지 않다. MCP를 통해 모델도 플레이할 수 있다.
A score today shows whether a player packed well and put cups, glasses and pots in mouth down. It does not yet show whether plates and cutlery were stacked so that they wash clean.