Ephemeral Testing: Wie KI-Wegwerf-Prototypen die Qualität deiner Bibliothek verraten

Ephemeral Testing: Wie KI-Wegwerf-Prototypen die Qualität deiner Bibliothek verraten

Der Autor schlägt eine neue Methode vor: Man lässt einen KI-Agenten auf der eigenen Bibliothek eine ephemere Anwendung bauen, testet diese und wirft sie weg. Die Fehler des Agenten sind ein Signal für die Qualität der zugrunde liegenden API – nicht für die Fähigkeiten der KI. Eine saubere API mit stabilen Invarianten führt schnell zu funktionierendem Code; versteckter Zustand oder unvollständige Dokumentation erzeugen Patch-Chaos. Der Autor nutzt die Technik bereits erfolgreich.

Die Fehler sind ein Beweis für deinen Code, nicht für den Agenten.
  1. kqr

    Das ist eine interessante Idee. Es ist effektiv das, was ein guter Softwareentwickler bereits im Kopf macht, außer dass es mit einem echten Compiler geschieht.

    Richard Gabriel hat etwas geschrieben, das mir wirklich im Gedächtnis geblieben ist:

    > Abstraktionen müssen sorgfältig und fachkundig entworfen werden, besonders wenn Wiederverwendung oder Kompression beabsichtigt ist. Da Abstraktionen jedoch in einem bestimmten Kontext und für einen bestimmten Zweck entworfen werden, ist es schwierig, sie zu entwerfen und dabei alle Zwecke vorherzusehen und alle Zwecke zu vergessen, was das Kennzeichen gut entworfener Abstraktionen ist.

    Das ist eines meiner Lieblingszitate über Abstraktion, weil „alle Zwecke vorherzusehen und alle Zwecke zu vergessen“ eine so gute Zusammenfassung dessen ist, was in das Design von Abstraktionen einfließt.

    Ein Sprachmodell in einer agentischen Umgebung kann das (noch) nicht auf dem gleichen Niveau wie ein guter Softwareentwickler, aber der Vorteil, den sie haben, ist die Geschwindigkeit der Token-Generierung, sodass sie tatsächlich die Dinge bauen können, die der Entwickler sich vorzustellen versucht, und deren Überprüfung einfacher ist. Sehr cool!

  2. tshaw96

    Eine Idee, die ich schon eine Weile habe und die ähnlich klingt:

    - Wir haben Software Engineering noch nicht wirklich gelöst, es ist schwer, im Voraus zu sagen, ob ein Design gut an zukünftige Anforderungen anpassbar ist. Die Community hat eine Sammlung von Heuristiken, die manchmal im Widerspruch zueinander stehen.

    - Daher: Schreibe alle Designs, jedes simuliert gegen einen zufälligen Baum zukünftiger Anforderungen.

    - Wähle dasjenige, das den durchschnittlichen zukünftigen Diff minimiert.

    Mit anderen Worten: Monte-Carlo-Simulation für Softwaredesign. Dieses Schema geht offensichtlich davon aus, dass die Kosten der Code-Produktion noch näher an Null gehen.

  3. simonw

    Ich habe dieses Muster in letzter Zeit ziemlich oft für API-Design verwendet, und ich mag es wirklich.

    Die große Herausforderung beim Entwerfen einer API besteht darin, dass die einzige Möglichkeit, sich des Designs sicher zu sein, darin besteht, eine Reihe verschiedener Dinge darauf aufzubauen. Aber warum all diese Mühe in eine API investieren, von der man noch nicht glaubt, dass sie bereit ist?

    Mit Coding-Agenten sinken die Kosten für den Bau dieser Prototypen auf fast nichts. Ich kann ein vorgeschlagenes API-Design auf fünf verschiedene Arten testen, bevor ich mich auf die Form festlege.

  4. folkrav

    Wenn ich nichts übersehe, hilft das nicht dabei, Regressionen zu verhindern. Letztendlich, wie der Autor schon sagt, ist es am Ende ein Integrationstest – warum nicht einfach die Integrationstests direkt schreiben?

  5. olalonde

    Das ist nicht völlig neu. Ich kann nicht der Einzige sein, der Wegwerf-UIs gebaut hat, um Backend-APIs zu testen, anstatt richtige Tests zu schreiben …

Mehr von diesem Tag

2026-10-06