Ложная пожарная тревога едва не затопила единственный дата-центр Jane Street в Нью-Йорке
A false smoke alarm almost drowned Jane Street's only NYC datacenter
Бывший инженер системной команды Jane Street вспоминает, как пыль от строительных работ запустила пожарную сигнализацию в дата-центре фирмы на Манхэттене. Сигнализация отключила охлаждение, а трубы спринклеров заполнились водой под давлением. Ему пришлось бежать через полгорода и вручную выдернуть кабели питания из всех серверов, пока температура не достигла порога срабатывания спринклеров. История заканчивается созданием монитора на OCaml, который усредняет температуру всех Linux-серверов.
Машинный зал держали через коридор именно для того, чтобы кто-то всегда мог вбежать и выдернуть кабели питания. Вряд ли кто-то представлял, что это придётся делать, чтобы спасти серверы от чёртовых спринклеров.
- reticulates
Статья напоминает мне о том, как ураган Сэнди вывел из строя кучу дата-центров Нью-Йорка, затопив их водой на высоту более трёх футов, и люди таскали дизельное топливо по лестницам, чтобы генераторы продолжали работать.
«Сверхлюди из дата-центра тащат 55-галлонные бочки с дизельным топливом вверх по 17 лестничным пролётам. Если предположить, что им удастся поддерживать скорость доставки, превышающую скорость потребления, дата-центр должен проработать до восстановления электроснабжения. Последняя оценка Con Edison для Нижнего Манхэттена — 4 дня. (Нью-Йоркская фондовая биржа откроется завтра, также работая на генераторном питании.)»
https://news.ycombinator.com/item?id=4720388 (https://web.archive.org/web/20121101194314/http://status.fog...)
https://arstechnica.com/information-technology/2012/11/how-o...
- hackermailman
В статье он рассказывает о том, что жил в нескольких минутах ходьбы от работы и слишком многим об этом рассказал, поэтому его сделали ответственным за офис на случай ЧП. Со мной произошло то же самое: по глупости я всем сообщил, что отсюда вижу свою квартиру, и меня начали в панике вызывать, чтобы я прибежал и выключил серверы, потому что специалист по информационной безопасности получил наводку о готовящемся эксплойте, который собирались обнародовать в праздничные выходные, а удалённо это сделать было невозможно. Все остальные жили в поездке на пароме или на пригородной электричке.
- rdl
Странно, что у них не было как минимум 1) физической кнопки аварийного отключения питания (EPO) внутри дата-центра, чтобы одна кнопка могла обесточить всё — обычно это требуется при строительстве дата-центра из-за отклонений в нормах для «низковольтной» (в данном контексте <4000 В...) проводки. 2) связи EPO с пожарными извещателями, чтобы оборудование автоматически обесточивалось (возможно, с задержкой) при обнаружении дыма.
- rainbowzootsuit
Интересно. В «Последовательности операций», которую мы пишем для серверных залов, над которыми я работаю, специально не предусмотрено отключение CRAC по сигналу пожарной тревоги именно по этой причине. Международный механический кодекс (IMC) особо разрешает это, когда воздухообрабатывающий агрегат производительностью более 2000 кубических футов в минуту обслуживает только одно помещение, поскольку признано, что он не будет распространять дым по зданию. 2000 кубических футов в минуту — это порог, при котором обычно требуется устанавливать дымовые извещатели, и обычно они действительно отключаются при обнаружении дыма.
CRAC не будет подпитывать огонь кислородом, так как он просто рециркулирует тот же воздух с пониженным содержанием кислорода.
- jddj
Эпизод их подкаста, где Рон исследует инфраструктурную часть их дата-центров и офисов, тоже стоит послушать.
https://signalsandthreads.com/the-thermodynamics-of-trading/
- sroussey
Существуют ли пожарные извещатели с подключением к интернету, которые можно взломать, чтобы уничтожить содержимое некоторых дата-центров? Как европейские морозильники?
- cesarb
> каждую минуту напрямую запрашивать у каждого сервера в каждом местоположении температуру с его встроенных датчиков, вычислять среднее и, если она повышена, рассылать тревогу всем в системной команде, чтобы проверили дата-центр на перегрев.
Однажды я сделал наоборот: офисная «серверная» (маленькая комната с тремя стойками, две из которых для патч-панелей, одна для серверов и коммутаторов) охлаждалась мини-сплитом, который был склонен к блокировке с включённым компрессором (реле, управляющее компрессором, залипало) и замерзанию, после чего воздух переставал циркулировать из-за всего этого льда. Я написал скрипт, который работал на одном из серверов, считывал температуру окружающей среды через IPMI, чтобы определить, когда в комнате слишком холодно, отправлял предупреждение по электронной почте и выключал (через ssh) соседние серверы, а затем и сам себя.
- sciurus
Интересно, почему решением было выключить серверы, а не снова включить их охлаждение. Разве оно не смогло бы достаточно быстро стабилизировать температуру?