DishwasherBench：最先端モデルは食洗機に食器を詰められるか？

DishwasherBench – Can Frontier Models Stack a Dishwasher?

DishwasherBenchは、実在するBoschの食洗機を物理シミュレーションで再現し、言語モデルのベンチマークとするために作られたブラウザで遊べる食器詰めゲームだ。剛体物理で食器を配置し、Eco 50プログラムの洗浄をシミュレートして、きれいになった食器に得点を与える。現在はv0.1.0の初期リリースで、得点は「カップやグラスを下向きに置いたか」などは信頼できるが、「皿やカトラリーがきれいに洗える配置か」はまだ正確に評価できない。2つのモデルがOpenAI互換エンドポイント経由でプレイ済みだが、人間のベースラインは未計測。