Minecraft nachbauen ist kein Benchmark

Recreating Minecraft Is Not a Benchmark

Nach jedem großen KI-Release füllen sich die Feeds mit denselben Demo-Aufgaben: Minecraft in einem Prompt nachbauen, ein Pelikan auf einem Fahrrad als SVG, ein springender Ball in einer rotierenden Box. Der Autor nennt diese Aufgaben "Demo-Benchmarks" – visuell beeindruckend, aber endlich und damit leicht zu optimieren. Er argumentiert, dass solche festen, öffentlichen Tests eher Vorbereitung als echte Fähigkeit messen und verweist auf Fälle wie Inkling Small, das trotz kleinerer Parameter auf bekannten Benchmarks mithält. Als Alternative schlägt er rotierende oder private Testfragen vor, räumt aber ein, dass Demos für die öffentliche Wahrnehmung unverzichtbar bleiben.