Una falsa alarma de humo casi ahoga el único datacenter de Jane Street en Nueva York
A false smoke alarm almost drowned Jane Street's only NYC datacenter
Un relato de guerra del equipo de sistemas de Jane Street: una falsa alarma de humo activada por polvo de obra apagó los equipos de refrigeración del datacenter, presurizó los rociadores y desató una carrera contra el tiempo para desconectar cada servidor antes de que el calor disparara la inundación. El autor, que vivía a nueve minutos a pie, corrió a tirar de los cables y luego escribió un monitor en OCaml que vigila la temperatura media de la flota Linux.
El cuarto de máquinas se había mantenido al otro lado del pasillo para que alguien pudiera siempre entrar corriendo y arrancar los cables de alimentación. Dudo que alguien hubiera imaginado hacerlo para salvar los servidores de los malditos rociadores.
- reticulates
El artículo me recuerda a cuando el huracán Sandy dejó fuera de servicio un montón de DCs de Nueva York con más de un metro de agua y la gente subía diésel por las escaleras para mantener los generadores en marcha.
"La gente sobrehumana del centro de datos está acarreando bidones de combustible diésel de 55 galones por 17 tramos de escaleras. Suponiendo que puedan mantener un ritmo de transferencia que supere el ritmo de consumo, el centro de datos debería funcionar hasta que se restablezca la electricidad. La última estimación de Con Edison para el bajo Manhattan es de 4 días. (La Bolsa de Nueva York abrirá mañana, también funcionando con energía de generador.)"
https://news.ycombinator.com/item?id=4720388 (https://web.archive.org/web/20121101194314/http://status.fog...)
https://arstechnica.com/information-technology/2012/11/how-o...
- hackermailman
En el artículo habla de vivir a pocos minutos a pie del trabajo y de decírselo a demasiada gente, así que lo convirtieron en el tipo de la oficina de emergencias. A mí me pasó lo mismo: tontamente les dije a todos que oye, puedo ver mi apartamento desde aquí, así que recibía llamadas de pánico para que entrara corriendo y apagara servidores porque el tipo de seguridad de la información había recibido un aviso de un exploit inminente a punto de publicarse en un fin de semana festivo sin forma de hacerlo en remoto. Todos los demás vivían a un trayecto de ferry o de tren de cercanías.
- rdl
Qué raro que no tuvieran como mínimo 1) un botón físico de Parada de Emergencia (EPO) dentro del datacenter, de modo que un solo botón pudiera desenergizar todo -- normalmente exigido como parte de la construcción de un datacenter debido a la variación de normativa para el cableado de "baja tensión" (<4000V en este contexto...). 2) un interbloqueo del EPO con las alarmas de humo, de modo que desenergizara el equipo automáticamente (quizá con retardo) si se detectara humo.
- rainbowzootsuit
Interesante. La Secuencia de Operaciones que escribimos para las salas de datos en las que trabajo específicamente no apaga los CRAC con la alarma de humo por esta razón. El Código Mecánico Internacional (IMC) lo permite específicamente cuando un manejador de aire de más de 2000 cfm sirve solo a un espacio porque se reconoce que no propagará humo por un edificio. 2000 cfm es el umbral en el que normalmente hay que instalar detectores de humo, y normalmente sí se apagan al detectar humo.
El CRAC no alimentará un fuego con oxígeno, ya que solo recircula el mismo aire empobrecido en oxígeno.
- jddj
El episodio de su podcast en el que Ron explora el lado de las instalaciones de sus centros de datos y oficinas también vale la pena escucharlo
https://signalsandthreads.com/the-thermodynamics-of-trading/
- sroussey
¿Existen alarmas de incendio conectadas a internet que puedan ser hackeadas para destruir el contenido de algunos centros de datos? ¿Como los congeladores europeos?
- cesarb
> cada minuto, preguntar directamente a cada servidor de cada ubicación por la temperatura de sus sensores integrados, sacar la media y, si está elevada, lanzar una alerta a todos en el equipo de sistemas para que comprueben si hay sobrecalentamiento en el datacenter.
Una vez hice lo contrario: la "sala de servidores" de la oficina (una salita con tres racks, dos de ellos para los paneles de parcheo, uno para los servidores y switches) se enfriaba con un mini-split que era propenso a bloquearse con el compresor activado (el relé que controla el compresor se quedaba atascado) y congelarse, lo que luego detenía la circulación del aire debido a todo el hielo. Escribí un script que se ejecutaba en uno de los servidores y que leía la temperatura ambiente a través de IPMI para detectar cuándo la sala estaba demasiado fría, enviar un aviso por correo electrónico y apagar (usando ssh) los servidores vecinos y luego a sí mismo.
- sciurus
Me pregunto por qué la respuesta fue apagar los servidores en lugar de volver a encender su refrigeración. ¿No sería capaz de estabilizar la temperatura lo suficientemente rápido?