Gamow Labs' LabRobotBench zeigt: KI-Agenten scheitern an unterbrochenen Laborversuchen

LabRobotBench v0.1: Benchmarking wet lab robotics

Gamow Labs stellt LabRobotBench v0.1 vor, einen Benchmark, der testet, wie gut KI-Modelle unterbrochene Wet-Lab-Experimente wieder aufnehmen können. In einer Simulation mit den Kommandoschnittstellen echter Roboter müssen Agenten erkennen, welche Schritte bereits erledigt sind, Fristen einhalten und beschädigte Proben aussortieren. Das beste Modell, GPT 6.1 Sol, erreicht nur 46,7 Prozent, Opus 5.5 kommt auf 23,0 und Gemini 4 Argon auf 20,9 Prozent. Die Fälle zeigen typische Fehler: unvollendete Assays, zu spät zurückgekühlte Vorräte und Messungen nach Ablauf der Frist.