Ein Fehlalarm hätte Jane Streets einziges Rechenzentrum in NYC fast geflutet
A false smoke alarm almost drowned Jane Street's only NYC datacenter
Ein Staubwolke von Bauarbeiten löst den Rauchmelder im New Yorker Rechenzentrum von Jane Street aus – und das löst eine fatale Kette aus: Die Klimaanlagen schalten ab, die Sprinklerleitungen füllen sich mit Druckwasser, und die Temperatur klettert Richtung 150 Grad Fahrenheit. Ein Systemtechniker rennt durch Lower Manhattan und zieht Kabel für Kabel den Strom, bevor die Sprinkler auslösen. Danach schreibt er in OCaml ein Überwachungstool, das die Durchschnittstemperatur aller Linux-Server prüft.
Ich bezweifle, dass jemand damit gerechnet hatte, die Kabel zu ziehen, um die Server vor den verdammten Sprinklern zu retten.
- reticulates
Der Artikel erinnert mich an die Zeit, als Hurrikan Sandy eine Reihe von New Yorker Rechenzentren mit über einem Meter Wasser lahmlegte und Leute Diesel die Treppen hochtrugen, um die Generatoren am Laufen zu halten.
„Die übermenschlichen Leute im Rechenzentrum schleppen 55-Gallonen-Fässer mit Dieselkraftstoff 17 Stockwerke die Treppen hoch. Angenommen, sie können eine Transferrate aufrechterhalten, die die Verbrauchsrate übersteigt, sollte das Rechenzentrum laufen, bis die Stromversorgung wiederhergestellt ist. Die neueste Schätzung von Con Edison für Lower Manhattan liegt bei 4 Tagen. (Die New York Stock Exchange wird morgen geöffnet sein, ebenfalls mit Generatorstrom betrieben.)“
https://news.ycombinator.com/item?id=4720388 (https://web.archive.org/web/20121101194314/http://status.fog...)
https://arstechnica.com/information-technology/2012/11/how-o...
- hackermailman
Im Artikel spricht er davon, nur wenige Minuten zu Fuß von der Arbeit entfernt zu wohnen und das zu vielen Leuten erzählt zu haben, woraufhin sie ihn zum Notfall-Bürotyp machten. Mir ist dasselbe passiert: Ich habe dummerweise allen erzählt, hey, ich kann mein Apartment von hier aus sehen, und dann bekam ich panische Anrufe, ich solle hereinkommen und Server herunterfahren, weil der Informationssicherheitsmensch einen Hinweis auf einen bevorstehenden Exploit erhalten hatte, der an einem Feiertagswochenende veröffentlicht werden sollte, und es keine Möglichkeit gab, das remote zu erledigen. Alle anderen wohnten eine Fährfahrt oder Pendlerzugfahrt entfernt.
- rdl
Seltsam, dass sie nicht mindestens 1) einen physischen Not-Aus-Knopf (Emergency Power Off, EPO) im Rechenzentrum hatten, sodass ein Knopf alles stromlos schalten konnte – normalerweise aufgrund von Code-Abweichungen für die „Niederspannungs“-Verkabelung (<4000 V in diesem Kontext ...) als Teil des Baus eines Rechenzentrums vorgeschrieben. 2) eine EPO-Verknüpfung mit den Rauchmeldern, sodass die Ausrüstung bei Rauchentdeckung automatisch (vielleicht mit Verzögerung) stromlos geschaltet würde.
- rainbowzootsuit
Interessant. Die Sequence of Operations, die wir für die Datenhallen schreiben, an denen ich arbeite, schalten die CRACs bei Rauchalarm genau aus diesem Grund nicht ab. Der International Mechanical Code (IMC) erlaubt dies ausdrücklich, wenn ein Luftbehandler mit über 2000 cfm nur einen Raum versorgt, weil anerkannt ist, dass er keinen Rauch im Gebäude verteilt. 2000 cfm ist die Schwelle, ab der man normalerweise Rauchmelder installieren muss, und normalerweise schalten sie bei Rauchentdeckung ab.
Die CRAC führt einem Feuer keinen Sauerstoff zu, da sie lediglich dieselbe sauerstoffverarmte Luft umwälzt.
- jddj
Die Episode ihres Podcasts, in der Ron die Facility-Seite ihrer Rechenzentren und Büros erkundet, ist auch hörenswert.
https://signalsandthreads.com/the-thermodynamics-of-trading/
- sroussey
Gibt es internetverbundene Rauchmelder, die gehackt werden können, um den Inhalt einiger Rechenzentren zu zerstören? Wie die europäischen Gefrierschränke?
- cesarb
> jede Minute jeden Server an jedem Standort direkt nach der Temperatur von seinen integrierten Sensoren fragen, den Durchschnitt nehmen und, wenn er erhöht ist, einen Alarm an alle im Systemteam aussenden, damit sie nach Überhitzung des Rechenzentrums sehen.
Ich habe einmal das Gegenteil gemacht: Der „Serverraum“ des Büros (ein kleiner Raum mit drei Racks, zwei davon für die Patchpanels, eines für die Server und Switches) wurde von einem Mini-Split gekühlt, der dazu neigte, sich mit aktiviertem Kompressor zu verriegeln (das Relais, das den Kompressor steuert, blieb hängen) und einzufrieren, was dann aufgrund des ganzen Eises die Luftzirkulation stoppte. Ich schrieb ein Skript, das auf einem der Server lief und die Umgebungstemperatur über IPMI auslas, um zu erkennen, wann der Raum zu kalt war, eine Warnung per E-Mail zu senden und die benachbarten Server (per ssh) und dann sich selbst auszuschalten.
- sciurus
Ich frage mich, warum die Antwort darin bestand, die Server auszuschalten, anstatt ihre Kühlung wieder einzuschalten. Wäre es nicht in der Lage, die Temperatur schnell genug zu stabilisieren?