誤作動した煙感知器が、Jane StreetのNY唯一のデータセンターを水浸しにしかけた
A false smoke alarm almost drowned Jane Street's only NYC datacenter
Jane Streetのシステムチームによる実体験。工事の粉塵で煙感知器が誤作動し、連動してCRACが停止。冷却を失った機械室は温度が上昇し、加圧されたスプリンクラーが熱で作動すれば全サーバーが水没する危機に。自宅至近に住んでいた著者が駆けつけ、150°Fに達する前に全電源ケーブルを引き抜いて難を逃れた。その後、各Linuxサーバーの温度を毎分取得して平均を監視するOCaml製の仕組みを自ら書いた。
機械室が廊下の向こうに置かれていたのは、誰かがいつでも駆け込んで電源ケーブルを引き抜けるようにするためだった。まさかそれを、忌々しいスプリンクラーからサーバーを守るためにやることになるとは誰も想像していなかっただろう。
HNでの議論
215- reticulates
この記事を読むと、ハリケーン・サンディがニューヨークのデータセンター群を3フィート以上の水で水没させ、人々が発電機を動かし続けるためにディーゼル燃料を階段で運び上げたときのことを思い出す。
「データセンターの超人たちは、55ガロンのドラム缶入りディーゼル燃料を17階分の階段を運び上げている。移送速度が消費速度を上回るペースを維持できれば、電力が復旧するまでデータセンターは稼働し続けるはずだ。Con Edisonによるロウアー・マンハッタンの最新予測は4日間。（ニューヨーク証券取引所は明日も開場し、こちらも発電機電力で稼働する。）」
https://news.ycombinator.com/item?id=4720388 (https://web.archive.org/web/20121101194314/http://status.fog...)
https://arstechnica.com/information-technology/2012/11/how-o...
- hackermailman
記事の中で彼は、職場まで徒歩数分のところに住んでいること、そしてそれをあまりにも多くの人に話してしまったために非常時のオフィス担当者にされてしまったことについて語っている。私も同じ経験をした。愚かにも「ほら、ここから自分のアパートが見えるんだ」とみんなに言ってしまったせいで、情報セキュリティ担当者が祝日の週末にリモートでは対処できない方法で公開されようとしているエクスプロイトの情報を入手した際に、慌てて電話がかかってきて、走って行ってサーバーをシャットダウンさせられた。他のみんなはフェリーか通勤電車で通う距離に住んでいたのに。
- rdl
少なくとも1) データセンター内に物理的な緊急電源オフ（EPO）ボタンがあり、1つのボタンで全ての電源を落とせるようになっていないのは奇妙だ。これは通常、「低電圧」（この文脈では4000V未満）配線のコードの差異により、データセンターを建設する際の要件として求められることが多い。2) 煙感知器とのEPO連動があり、煙を検知したら自動的に（おそらく遅延付きで）機器の電源を落とすようになっているべきだ。
- rainbowzootsuit
興味深い。私が携わっているデータホール用に書く運転順序（Sequence of Operations）では、まさにこの理由から煙警報時にCRACを停止しないようにしている。国際機械コード（IMC）は、2000 cfmを超えるエアハンドラーが1つの空間のみにサービスを提供する場合、建物内に煙を拡散させないことが認識されているため、これを明確に許可している。2000 cfmは通常、煙感知器を設置しなければならない閾値であり、通常は煙検知時に停止する。
CRACは同じ酸素 depleted 空気を再循環させているだけなので、火に酸素を供給することはない。
- jddj
彼らのポッドキャストでロンがデータセンターやオフィスの施設面を探求するエピソードも聴く価値がある。
https://signalsandthreads.com/the-thermodynamics-of-trading/
- sroussey
インターネットに接続された火災報知器で、一部のデータセンターの内容物を破壊するためにハッキングできるものはあるのだろうか？ヨーロッパの冷凍庫のように？
- cesarb
> 毎分、各ロケーションのすべてのサーバーに直接オンボードセンサーから温度を問い合わせ、平均を取り、上昇していればシステムチーム全員にアラートを送り、データセンターの過熱を確認する。
私はかつて逆のことをしたことがある。オフィスの「サーバールーム」（3つのラックがある小さな部屋で、2つはパッチパネル用、1つはサーバーとスイッチ用）は、コンプレッサーが有効な状態でロックアップしやすく（コンプレッサーを制御するリレーが固着する）、凍結してしまい、氷のために空気の循環が止まるミニスプリットで冷房されていた。私はサーバーの1つで実行されるスクリプトを書き、IPMIを通じて周囲温度を読み取り、部屋が冷えすぎていることを検出すると、警告メールを送り、隣接するサーバーを（sshを使って）電源オフにし、その後自分自身も電源オフにした。
- sciurus
なぜ答えが冷却を再びオンにすることではなく、サーバーをオフにすることだったのか不思議だ。温度を十分に速く安定させることはできなかったのだろうか？