복잡한 시스템은 어떻게 실패하는가
How Complex Systems Fail
복잡한 시스템(교통, 의료, 발전 등)은 본질적으로 위험하며, 수많은 방어 장치로 성공적으로 보호된다. 그러나 대형 사고는 단일 실패가 아닌 여러 작은 결함이 결합하여 발생한다. 시스템은 항상 저하된 상태로 작동하며, 사고는 언제든 발생할 수 있다. 사고 후 '근본 원인'을 찾는 것은 근본적으로 잘못되었으며, 사후 분석은 휴리스틱 편향에 오염된다. 인간 운영자는 생산과 방어의 이중 역할을 수행하며, 모든 행동은 불확실성 속의 도박이다. 안전은 시스템의 창발적 특성으로, 구성 요소에 내재하지 않으며, 사람들이 지속적으로 안전을 창조한다. 실패 없는 운영은 실패에 대한 경험을 통해 가능하다.
사후 분석에서 '근본 원인'을 찾는 것은 기술적 이해가 아니라, 특정 국지적 힘이나 사건을 비난하려는 사회적·문화적 욕구를 반영한다.
HN 토론
77- tptacek
나는 이 문서가 얼마나 중요한지에 대해 같은 말을 반복하고 있는데, 복잡한 시스템이 실제로 실패하는 것을 오랫동안 경험하기 전에는 그 가치를 제대로 인식하기 어렵다는 점을 강조하고 싶다.
가장 흔히 인용되는 숨은 의미 또는 핵심은 "근본 원인 분석"이 적어도 복잡한 시스템에서는 어리석은 짓이라는 것이다. 예를 들어 분산 잠금 시스템에서 문제가 발생하면 전체 배포 시스템이 준안정적 실패 상태에 빠진다. 당연히 "근본 원인"은 잠금 시스템의 복원력처럼 보인다. 그러나 정의상 준안정적 실패는 유발 조건이 해결된 후에도 지속되는 실패다. 이제 두 가지 "근본 원인"이 있다: 잠금 실패와 배포 시스템 결함의 준안정성. 계속 파다 보면 더 많은 원인을 찾을 수 있다.
하지만 내가 보기에 이 글에서 가장 큰 충격은 복잡한 시스템에서는 무작위한 실패가 항상 일어나고 있다는 추가 관찰이다. "복잡한 시스템은 저하된 모드로 운영된다." 복원력 있는 구성 요소는 좋지만, 전체 시스템을 조율하는 전체 프로세스의 복원력이 상황이 폭발할지 여부를 결정한다.
모든 실무자의 행동은 도박이다. 이 말을 어딘가에 잉크로 새겨야 할 것 같다.
- anonymars
"시스템은 많은 중복성과 사람들이 결함이 많음에도 불구하고 작동시킬 수 있기 때문에 계속 기능한다. 사고 후 검토에서는 거의 항상 시스템이 재난을 거의 일으킬 뻔한 '원시 사고'의 이력을 가지고 있다고 지적한다. 이러한 저하된 조건이 명백한 사고 전에 인식되었어야 한다는 주장은 대개 시스템 성능에 대한 순진한 개념에 근거한다. 시스템 운영은 역동적이며, 구성 요소(조직적, 인적, 기술적)가 지속적으로 실패하고 교체된다."
이것은 국립공항 충돌 사고에 대한 애드미럴 클라우드버그의 글과 매우 유사하다:
"어떤 인간도 복잡한 시스템을 보고 그것이 정확히 어떻게 실패할지 정확하게 예측할 수 없다. 그러나 충분한 데이터가 있으면 예측이 가능해진다. 왜냐하면 직업 안전 분야에서 하인리히 법칙으로 알려진 것 때문인데, 이 법칙은 심각한 사고 한 건당 약 300건의 '아차 사고'가 발생한다고 말한다. 또는 이 법칙의 최신 버전에 따르면, 치명적인 사고 한 건당 약 3,000건의 아차 사고와 약 30,000건의 '위험 행동'이 동반된다. 통계적으로, 수백 또는 수천 건의 위험 행동과 아차 사고가 첫 치명적인 사고 이전에 발생할 가능성이 높으며, 이는 생명을 잃기 전에 위험을 식별할 기회를 제공한다."
https://admiralcloudberg.medium.com/reaping-the-whirlwind-in...
- jedberg
> 실패 없는 운영은 실패에 대한 경험을 요구한다.
이것이 우리가 카오스 엔지니어링을 만든 이유입니다. 지속적으로 실패를 강제함으로써, 우리는 항상 그 실패를 방어하는 시스템을 만들게 되었고, 특정 실패 모드 내에서 다양한 시스템의 임계점이 어디인지에 대한 훌륭한 데이터를 얻을 수 있었습니다.
- ChrisMarshallNY
이 [훌륭한] 논문을 볼 때마다 첫 번째 섹션의 첫 문장에 항상 놀라게 됩니다:
> 모든 흥미로운 시스템(예: 운송, 의료, 발전)은 본질적으로 그리고 불가피하게 위험합니다.
(강조는 제가 했습니다)
이것이 오타인지, 아니면 제 무지한 마음이 이해하지 못하는 어떤 글쓰기 관례인지 확실하지 않습니다.
- feyman_r
다른 게시물에서 이미 공유했을 수도 있습니다: John Gall의 책들이 이 주제에 대해 정말 좋습니다: General Systemantics [https://en.wikipedia.org/wiki/Systemantics]