Почему сложные системы неизбежно ломаются: 18 принципов
How Complex Systems Fail (1998)
Классический текст Ричарда Кука о природе отказов в сложных системах — от здравоохранения до энергетики. Автор разбирает 18 принципов, объясняющих, почему катастрофы происходят не из-за одной ошибки, а из-за сочетания множества мелких сбоев, почему системы всегда работают в «деградированном» режиме и почему поиск «корневой причины» в корне неверен. Кук подчеркивает, что безопасность — это свойство всей системы, а не отдельных компонентов, и что люди, работающие на «острие» системы, постоянно создают безопасность, балансируя между производственными целями и защитой от отказов.
Знание исхода делает так, что события, приведшие к нему, кажутся более значимыми для практиков в тот момент, чем это было на самом деле.
- tptacek
Я уже заезженная пластинка на тему того, насколько важен этот документ, и что его трудно оценить, пока у тебя не будет продолжительного опыта реальных отказов сложных систем. Чаще всего цитируемый подтекст или основная мысль — что «анализ корневых причин», по крайней мере в сложных системах, — это занятие для дураков. Что-то идёт не так, скажем, в системе распределённых блокировок, и вся твоя система развёртывания входит в метастабильное состояние отказа. Естественно, «корневая причина» кажется связанной с отказоустойчивостью блокировок. Но по определению метастабильный отказ — это тот, который сохраняется после устранения спровоцировавшего условия. Теперь у тебя две «корневые причины»: отказ блокировок и метастабильность отказа системы развёртывания. Продолжай копать — найдёшь ещё. Но для меня самый сильный удар по лбу в этом материале — дальнейшее наблюдение, что случайные вещи отказывают постоянно в любой сложной системе. «Сложные системы работают в деградированном режиме». Устойчивые компоненты — это хорошо, но именно устойчивость общего процесса, который оркестрирует всю систему, определяет, взорвётся ли всё. Все действия практиков — это азартные игры. Мне бы это где-нибудь вытатуировать.
- anonymars
«Система продолжает функционировать, потому что содержит так много резервирования и потому что люди могут заставить её работать, несмотря на наличие многих недостатков. После аварий в отчётах почти всегда отмечается, что система имеет историю предыдущих „прото-аварий“, которые едва не привели к катастрофе. Аргументы о том, что эти деградированные условия должны были быть распознаны до явной аварии, обычно основаны на наивных представлениях о производительности системы. Эксплуатация систем динамична: компоненты (организационные, человеческие, технические) отказывают и непрерывно заменяются». Это очень похоже на разбор столкновения в Национальном аэропорту, написанный адмиралом Клаудбергом: «Ни один человек не может посмотреть на сложную систему и предсказать с какой-либо степенью точности, как именно она откажет. Но при достаточном количестве данных предсказание становится возможным благодаря чему-то, известному в области охраны труда как закон Хайнриха, который гласит, что на каждый серьёзный несчастный случай приходится примерно 300 „почти происшествий“; или, как говорит последняя версия закона, каждый смертельный случай сопровождается примерно 3000 почти происшествий и примерно 30 000 „рискованных поведений“. [39] Статистически сотни или тысячи рискованных поведений и почти происшествий, вероятно, произойдут до первого смертельного случая, что даёт возможность выявить риск до того, как будут потеряны жизни». https://admiralcloudberg.medium.com/reaping-the-whirlwind-in...
- jedberg
> Безотказная работа требует опыта отказов. Именно поэтому мы создали Chaos Engineering. Постоянно принудительно вызывая отказы, мы заставляли себя всегда создавать системы с защитой от этих отказов и получали отличные данные о том, где находится точка перелома для различных систем в рамках конкретного режима отказа.
- ChrisMarshallNY
Всякий раз, когда я вижу эту [отличную] статью, меня всегда поражает первое предложение в первом разделе: > Все интересные системы (например, транспорт, здравоохранение, производство электроэнергии) по своей природе неизбежно и неотвратимо опасны. (Курсив мой.) Я не уверен, опечатка ли это или какой-то писательский приём, который мой необразованный ум не в силах постичь.
- feyman_r
Возможно, я уже делился этим в другой ветке: книги Джона Галла очень хороши на эту тему: General Systemantics [https://en.wikipedia.org/wiki/Systemantics]