Momentic lässt KI-Agenten eure App selbst bedienen – und 117.000 Bugs vor dem Release abfangen

Ich bin mir nicht sicher, ob Precision/Recall die Kennzahl ist, die ich mir zuerst ansehen würde, denn was ich eigentlich wissen will, ist, wie oft das Tool bei einem Flow, der bereits kaputt ist, „bestanden“ sagt, und ein stilles Bestehen ist schlimmer als ein flaky Test, da der flaky Test wenigstens etwas Lärm macht.

Ich baue selbst etwas im selben Bereich und das hat mich ziemlich früh erwischt, also habe ich am Ende im Grunde Mutation Testing gemacht: ein paar Open-Source-Apps genommen, absichtlich Bugs eingepflanzt und gezählt, wie viele davon das Tool trotzdem durchwinkt. Es scheint, dass die Pass/Fail-Zahlen überhaupt nicht der interessante Teil waren, der interessante Teil war, die Engine mit einer dritten Option antworten zu lassen, „Ich kann es nicht sagen“, denn sobald das erlaubt war, verschwanden die falschen Passes größtenteils, sie hörte einfach auf zu raten. Ich würde sagen, ein geratenes Bestehen ist schlimmer als gar kein Test, und ich halte jeden Lauf aus demselben Grund replaybar, sonst würde ich meinen eigenen Zahlen auch nicht trauen.

Neugierig, wie Mo (schöner Name) den Mittelweg handhabt – die Docs sagen, ein Bug, den es nicht reproduzieren kann, wird nicht als bestätigt gemeldet, aber taucht er irgendwo auf oder wird er einfach verworfen? Und bei QA Bench, habt ihr die Bugs selbst eingepflanzt oder nur bestehende gelabelt?