Deterministisches Simulationstesting ist nicht nur für verteilte Systeme
Deterministic Simulation Testing Is for Everyone
Deterministisches Simulationstesting gilt als Spezialwerkzeug für verteilte Datenbanken wie FoundationDB oder TigerBeetle. Der Autor argumentiert, dass jede Anwendung davon profitiert: Man macht den Programmcode zu einer deterministischen Maschine und simuliert die Umgebung samt Zeit, Netzwerk und Nutzereingaben. So lassen sich Fehler reproduzierbar und in Sekunden statt Monaten aufdecken – auch in Web-Apps oder Embedded Systems.
Ein gutes Simulationsexperiment ist eine Übung darin, die Verschlagenheit jener Teile der Umgebung zu verstärken, die wir nicht kontrollieren können.
- csbartus
Heute ist das der zweite Beitrag, den ich sehe, in dem die 'traditionellen' Testmethoden (Unit, E2E, Integration, Perf, Pen usw.) neu kategorisiert und in neue Perspektiven gerückt werden.
Der andere ist https://alperenkeles.com/posts/vocab-for-testing/
Ich verstehe wirklich, dass unsere (einzige) Aufgabe darin besteht, die Orakel der Maschine zu werden: https://www.osequi.com/manifesto
- drooby
Das ist die Zukunft, davon bin ich überzeugt.
Ich habe mein eigenes Framework gebaut und es hat bereits Dutzende wichtige und kritische Bugs im Team bei der Arbeit gefunden.
Das nächste Problem, das es danach zu lösen gilt, ist jedoch die Formalisierung der Absicht.
Ein Bug ist oft ein Bug, wenn die App nicht wie beabsichtigt funktioniert. Was wir beabsichtigen, ist nicht immer so klar, und es wird weiterhin im Verantwortungsbereich des Ingenieurs und des Produktdesigners bleiben, denn Software ist komplex, und was wir wollen, lässt sich nicht so einfach berechnen. Die Definition und das Verständnis der Absicht werden für viele Unternehmen ein „menschlicher Engpass“ bleiben.
- TacticalCoder
Deterministisches Testen ist eine Sache, und es wird dringend gebraucht.
Aber ich bin völlig überzeugt, dass wir uns auf deterministische Ausführung zubewegen: n verschiedene Implementierungen, in verschiedenen Sprachen, auf verschiedenen Stacks laufend, und ein minimaler (vielleicht sogar Hardware-) Voter, der sich um die n-modulare Redundanz kümmert, um die richtige „Antwort“ auszuwählen.
0-Day-Postgres-CVE? Kein Problem: Eine der Implementierungen liefert falsche Antworten und wird als defekt erkannt.
0-Day-Java? Dasselbe.
Dies wird 0-Days in allem außer den Votern der Vergangenheit angehören lassen (und die Voter sollen minimal sein und eine winzige Angriffsfläche haben).
Die Antwort kann eine API-Abfrage sein, aber wir können viel tiefer gehen: Netzwerkpakete, deterministisch erzeugt, von n Systemen, die alle zu den Votern gehen. Was auch immer die „Antwort“ ist, sie wird deterministisch sein und von der niedrigstmöglichen Ebene aus verifiziert.
Die Implementierungen sollen aus Spezifikationen geschrieben, formal verifiziert usw. werden. Aber das Einzige, was garantiert, dass jeder Mist erkannt wird, werden n unabhängige Implementierungen derselben Spezifikationen sein.
Und sobald eine der Implementierungen/Stacks auch nur ein einziges Netzwerkpaket zurückgibt, das nicht mit dem übereinstimmt, was die anderen Systeme produzieren: Etwas ist im Arsch und muss repariert werden.
Dies wird erfordern, einen großen Haufen des nicht-deterministischen Bullshits wegzuwerfen, aber wir werden Systeme sehen, die genau das tun: n-modulare Redundanz und Voter, auf der niedrigstmöglichen Ebene.
Ich bin zu 100 % sicher, dass wir dorthin gehen (und die KI wird das meiste davon für uns schreiben).