Warum komplexe Systeme unweigerlich versagen
How Complex Systems Fail
Komplexe Systeme wie Transport, Gesundheitswesen oder Energieversorgung sind von Natur aus gefährlich. Sie sind mit zahlreichen Verteidigungslinien gegen Fehler ausgestattet, doch Katastrophen entstehen erst durch das Zusammenwirken vieler kleiner Fehler. Diese Systeme laufen ständig im degradierten Modus, und die Ursachen von Unfällen sind nie auf eine einzelne Wurzel zurückzuführen. Der Artikel beleuchtet, warum Rückschau-Bias die Fehleranalyse verzerrt, wie menschliche Operateure als Produzenten und Verteidiger zugleich agieren und warum Sicherheit eine emergente Eigenschaft des gesamten Systems ist.
Rückschau-Bias bleibt das größte Hindernis für Unfalluntersuchungen, insbesondere wenn es um erfahrene menschliche Leistung geht.
- tptacek
Ich bin ein gebrochener Rekord, wenn es darum geht, wie wichtig ich dieses Dokument halte, und dass man es erst zu schätzen weiß, wenn man umfangreiche Erfahrung mit dem tatsächlichen Versagen komplexer Systeme hat.
Der am häufigsten zitierte Unterton oder die Hauptaussage ist, dass die "Ursachenanalyse", zumindest bei komplexen Systemen, ein Unterfangen für Narren ist. Wenn etwas schiefgeht, sagen wir, in einem verteilten Sperrsystem, und Ihr gesamtes Bereitstellungssystem in einen metastabilen Fehlerzustand gerät, scheint die "Ursache" natürlich die Widerstandsfähigkeit des Sperrsystems zu sein. Aber definitionsgemäß ist ein metastabiler Fehler einer, der fortbesteht, nachdem die auslösende Bedingung behoben ist. Jetzt haben Sie zwei "Ursachen": den Sperrfehler und die Metastabilität des Bereitstellungssystemfehlers. Wenn Sie weiter suchen, werden Sie mehr finden.
Aber für mich ist der größte Schlag auf die Stirn in diesem Stück die weitere Beobachtung, dass in jedem komplexen System ständig zufällige Dinge schiefgehen. "Komplexe Systeme laufen im degradierten Modus." Widerstandsfähige Komponenten sind gut, aber es ist die Widerstandsfähigkeit des Gesamtprozesses, der das gesamte System orchestriert, die bestimmt, ob die Dinge explodieren.
Alle Handlungen von Praktikern sind Glücksspiele. Das sollte ich mir irgendwo tätowieren lassen.
- anonymars
"Das System funktioniert weiter, weil es so viele Redundanzen enthält und weil Menschen es funktionsfähig machen können, trotz vieler Fehler. Nach Unfallanalysen wird fast immer festgestellt, dass das System eine Vorgeschichte früherer 'Proto-Unfälle' hat, die beinahe eine Katastrophe verursacht hätten. Argumente, dass diese degradierten Bedingungen vor dem offenen Unfall hätten erkannt werden müssen, basieren meist auf naiven Vorstellungen von Systemleistung. Der Systembetrieb ist dynamisch, mit Komponenten (organisatorisch, menschlich, technisch), die ständig ausfallen und ersetzt werden."
Dies ähnelt sehr stark Admiral Cloudbergs Bericht über die Kollision am National Airport:
"Kein Mensch kann ein komplexes System betrachten und mit irgendeiner Genauigkeit vorhersagen, wie genau es versagen wird. Aber mit ausreichenden Daten wird Vorhersage möglich, wegen etwas, das im Arbeitsschutz als Heinrichs Gesetz bekannt ist, das besagt, dass es ungefähr 300 'Beinahe-Unfälle' für jeden schweren Unfall gibt; oder wie die neueste Version des Gesetzes es ausdrückt, jeder tödliche Unfall wird von etwa 3.000 Beinahe-Unfällen und etwa 30.000 'Risikoverhalten' begleitet.[39] Statistisch gesehen treten wahrscheinlich Hunderte oder Tausende von Risikoverhalten und Beinahe-Unfällen vor dem ersten tödlichen Unfall auf, was die Gelegenheit bietet, das Risiko zu identifizieren, bevor Leben verloren gehen."
https://admiralcloudberg.medium.com/reaping-the-whirlwind-in...
- jedberg
> Ein fehlerfreier Betrieb erfordert Erfahrung mit Fehlern.
Deshalb haben wir Chaos Engineering geschaffen. Indem wir ständig Fehler erzwangen, haben wir uns gezwungen, Systeme immer zur Verteidigung gegen diese Fehler zu entwickeln, und wir haben großartige Daten darüber erhalten, wo der Kipppunkt für verschiedene Systeme innerhalb eines bestimmten Fehlermodus liegt.
- ChrisMarshallNY
Wann immer ich dieses [ausgezeichnete] Papier sehe, bin ich immer von dem ersten Satz im ersten Abschnitt beeindruckt:
> Alle interessanten Systeme (z. B. Transport, Gesundheitswesen, Energieerzeugung) sind von Natur aus und unvermeidbar gefährlich.
(Hervorhebung von mir)
Ich bin mir nicht sicher, ob das ein Tippfehler ist oder eine Schreibkonvention, die mein ungebildeter Verstand nicht erfassen kann.
- feyman_r
Ich habe das vielleicht schon einmal bei einem anderen Beitrag geteilt: John Galls Bücher sind zu diesem Thema wirklich gut: General Systemantics [https://en.wikipedia.org/wiki/Systemantics]