误报烟雾警报差点淹了 Jane Street 数据中心
A false smoke alarm almost drowned Jane Street's only NYC datacenter
作为 Jane Street 系统团队的一员，我亲历了一场惊心动魄的危机。一次装修产生的灰尘触发了数据中心烟雾警报，导致空调系统 CRAC 自动关闭。由于没有冷却，机房温度迅速飙升，随时可能触发喷淋系统淹没服务器。我不得不从公寓狂奔回办公室，在温度达到临界点前拔掉所有设备的电源。事后，我用 OCaml 编写了一个监控脚本，通过直接读取 Linux 服务器温度来预防此类故障。这场虚惊不仅考验了我们的应急反应，也体现了 Jane Street 独特的风险文化。
在潜艇上，除非有一个涂成红色、机械连接的手动拉杆可以拉下来关闭系统，否则你绝不会信任自动化设备。
HN 评论区
196- reticulates
这篇文章让我想起了飓风桑迪（Hurricane Sandy）袭击纽约时，多个数据中心被三英尺深的水淹没，人们不得不扛着柴油上楼梯维持发电机运转的情景。
“数据中心的超人团队正把 55 加仑的柴油桶扛上 17 层楼梯。假设他们的运输速度能超过消耗速度，数据中心应该能一直运行到电力恢复。Con Edison 对曼哈顿下城的最新估计是 4 天。（纽约证券交易所明天也将开放，同样依靠发电机供电。）”
https://news.ycombinator.com/item?id=4720388 (https://web.archive.org/web/20121101194314/http://status.fog...)
https://arstechnica.com/information-technology/2012/11/how-o...
- hackermailman
文章中他提到自己住在离公司步行几分钟的地方，结果告诉太多人，导致他成了紧急情况下的办公室负责人。我也遇到过同样的情况，愚蠢地告诉所有人“我能从这里看到我的公寓”，结果接到各种惊慌失措的电话，让我跑过去关停服务器，因为信息安全人员收到消息说某个漏洞即将在假期周末被公开，而且无法远程处理。其他人都住在需要坐渡轮或通勤火车才能到的地方。
- rdl
奇怪的是，他们至少没有配备 1) 数据中心内部的物理紧急断电（EPO）按钮，按一下就能切断所有电源——这通常是建设数据中心时的规范要求，因为“低压”（在此语境下指<4000V）布线存在规范豁免。2) EPO 与烟雾报警器的联动，这样一旦检测到烟雾，就会自动（可能带延迟）切断设备电源。
- rainbowzootsuit
挺有意思。我为工作的数据大厅编写的操作顺序（Sequence of Operations）中，特意规定烟雾报警时不关闭 CRAC，原因正是如此。《国际机械规范》（IMC）明确规定，当空气处理机组风量超过 2000 cfm 且仅服务于单一空间时，允许这样做，因为大家公认它不会导致烟雾在建筑内扩散。2000 cfm 是通常需要安装烟雾探测器的阈值，一般这种情况下确实会因烟雾检测而关闭。
CRAC 不会为火势提供氧气，因为它只是循环同样的缺氧空气。
- jddj
他们播客中 Ron 深入探讨数据中心和办公室设施的那一期也值得一听。
https://signalsandthreads.com/the-thermodynamics-of-trading/
- sroussey
有没有联网的火灾报警器可以被黑客入侵，从而摧毁某些数据中心的内容？就像欧洲的冷冻柜那样？
- RomanKornev
尽管这件事发生在 2012 年，但有趣的是，Jane Street 正在加倍押注算力，并从 neoclouds 租用更多容量。他们计划将 GPU 数量扩大 10 倍，并锁定大量算力资源。此外，他们还在向 Anthropic 支付每兆瓦超过 5 亿美元的费用。
- cesarb
> 每分钟直接询问每个地点的每台服务器，获取其板载传感器的温度读数，取平均值，如果温度升高，就向整个系统团队发送警报，检查数据中心是否过热。
我曾经做过相反的事：办公室的“服务器机房”（一个小房间，有三排机柜，两排放配线架，一排放服务器和交换机）由一台迷你分体式空调冷却，这台空调容易在压缩机开启时卡死（控制压缩机的继电器卡住）并结冰，导致空气因结满冰而无法循环。我写了一个脚本，在一台服务器上运行，通过 IPMI 读取环境温度，检测到房间过冷时发送邮件警告，然后通过 ssh 关闭邻近的服务器，最后关闭自己。