Por qué los sistemas complejos siempre fallan
How Complex Systems Fail (1998)
Este ensayo clásico de Richard Cook explica por qué los sistemas complejos como el transporte, la atención médica o la generación de energía son intrínsecamente peligrosos y cómo, a pesar de las múltiples capas de defensa, las catástrofes ocurren cuando fallas menores se combinan. Cook desmonta el mito de la 'causa raíz', señala el sesgo retrospectivo en las investigaciones de accidentes y destaca el papel dual de los operadores como productores y defensores. Con 18 principios, argumenta que la seguridad es una propiedad emergente del sistema, no de sus componentes, y que los operadores crean seguridad continuamente adaptándose a las condiciones cambiantes.
El sesgo retrospectivo sigue siendo el principal obstáculo para la investigación de accidentes, especialmente cuando está involucrado un desempeño humano experto.
- tptacek
Soy un disco rayado sobre lo importante que creo que es este documento, y que es difícil apreciarlo hasta que has tenido experiencia prolongada con sistemas complejos fallando de verdad.
El subtema o mensaje más citado es que el "análisis de causa raíz", al menos en sistemas complejos, es una tarea inútil. Algo sale mal, digamos, en un sistema de bloqueo distribuido, y todo tu sistema de despliegue entra en un estado de fallo metaestable. Naturalmente, la "causa raíz" parece ser la resiliencia del sistema de bloqueo. Pero por definición, un fallo metaestable es aquel que persiste después de que se resuelve la condición desencadenante. Ahora tienes dos "causas raíz": el fallo del bloqueo y la metaestabilidad del fallo del sistema de despliegue. Sigue mirando y encontrarás más.
Pero para mí, el mayor golpe en la frente en esta pieza es la observación adicional de que cosas aleatorias fallan todo el tiempo en cualquier sistema complejo. "Los sistemas complejos funcionan en modo degradado". Los componentes resilientes son buenos, pero es la resiliencia del proceso general que orquesta todo el sistema lo que determina si las cosas van a explotar.
Todas las acciones de los profesionales son apuestas. Debería tener eso tatuado en algún sitio.
- anonymars
El sistema continúa funcionando porque contiene tantas redundancias y porque la gente puede hacerlo funcionar, a pesar de la presencia de muchos defectos. Tras las revisiones de accidentes, casi siempre se nota que el sistema tiene un historial de 'proto-accidentes' previos que casi generan catástrofes. Los argumentos de que estas condiciones degradadas deberían haberse reconocido antes del accidente manifiesto suelen basarse en nociones ingenuas del rendimiento del sistema. Las operaciones del sistema son dinámicas, con componentes (organizativos, humanos, técnicos) que fallan y se reemplazan continuamente.
Esto se parece mucho al informe del Almirante Cloudberg sobre la colisión del Aeropuerto Nacional:
'Ningún ser humano puede mirar un sistema complejo y predecir con algún grado de precisión cómo fallará exactamente. Pero con datos suficientes, la predicción se vuelve posible gracias a algo conocido en el campo de la seguridad ocupacional como la Ley de Heinrich, que establece que hay aproximadamente 300 "casi accidentes" por cada accidente grave; o como dice la versión más reciente de la ley, cada accidente fatal viene acompañado de unos 3.000 casi accidentes y unas 30.000 "conductas de riesgo".[39] Estadísticamente, es probable que ocurran cientos o miles de conductas de riesgo y casi accidentes antes del primer accidente fatal, lo que brinda la oportunidad de identificar el riesgo antes de que se pierdan vidas.'
https://admiralcloudberg.medium.com/reaping-the-whirlwind-in...
- jedberg
> Las operaciones sin fallos requieren experiencia con fallos.
Por eso creamos la Ingeniería del Caos. Al forzar fallos constantemente, nos hizo crear siempre sistemas en defensa de ese fallo, y nos dio excelentes datos sobre dónde está el punto de inflexión para diferentes sistemas dentro de un modo de fallo particular.
- ChrisMarshallNY
Cada vez que veo este [excelente] artículo, siempre me llama la atención la primera frase, en la primera sección:
> Todos los sistemas interesantes (por ejemplo, transporte, atención médica, generación de energía) son inherente e inevitablemente peligrosos por SU propia naturaleza.
(El énfasis es mío)
No estoy seguro de si es un error tipográfico o alguna convención de escritura que mi mente sin educación no puede comprender.
- feyman_r
Puede que haya compartido esto antes en otra presentación: los libros de John Gall son muy buenos sobre este tema: General Systemantics [https://en.wikipedia.org/wiki/Systemantics]