거짓 화재 경보 하나가 Jane Street의 유일한 NYC 데이터센터를 물에 잠길 뻔하게 만들었다

그는 기사에서 직장까지 도보로 몇 분 거리에 살고 있다는 사실을 너무 많은 사람에게 말해버려서 비상 연락 담당자로 지정되었다고 한다. 나에게도 같은 일이 일어났다. 어리석게도 모두에게 '이곳에서 내 아파트가 보인다'고 말했더니, 휴일 주말에 원격으로 처리할 방법이 없는 상태에서 곧 공개될 취약점 정보를 정보보안 담당자가 입수했다는 이유로 서버를 끄러 달려가라는 당황한 전화를 받곤 했다. 다른 사람들은 모두 페리나 통근 열차를 타고 와야 하는 곳에 살았다.

그들이 최소한 1) 데이터센터 내부에 물리적 비상 전원 차단(EPO) 버튼이 없었다는 게 이상하다. 버튼 하나로 모든 전원을 차단할 수 있는 것인데, 보통 '저전압'(이 맥락에서는 4000V 미만...) 배선에 대한 규정 차이 때문에 데이터센터 건물의 일부로 요구된다. 2) 연기 감지 시 자동으로(아마 지연 후) 장비 전원을 차단하도록 EPO를 화재 경보기와 연동하는 것도 없었다는 게 이상하다.

흥미롭다. 내가 작업하는 데이터홀에 대해 작성하는 운영 순서(Sequence of Operations)에서는 바로 이런 이유로 연기 경보 시 CRAC를 끄지 않도록 명시한다. 국제 기계 코드(IMC)는 2000 cfm 이상의 공조기가 하나의 공간만 담당하는 경우 이를 특별히 허용하는데, 건물 전체로 연기가 퍼지지 않는다는 것이 인정되기 때문이다. 2000 cfm은 일반적으로 연기 감지기를 설치해야 하는 기준이며, 보통 연기 감지 시 장비가 꺼진다.

CRAC는 동일한 산소 고갈 공기를 재순환할 뿐이므로 화재에 산소를 공급하지 않는다.

론이 데이터센터와 사무실의 시설 측면을 탐구하는 팟캐스트 에피소드도 들어볼 만하다.

https://signalsandthreads.com/the-thermodynamics-of-trading/

인터넷에 연결된 화재 경보기가 해킹되어 일부 데이터센터의 내용물을 파괴할 수 있을까? 유럽의 냉동고처럼?

> 매분마다 각 위치의 모든 서버에 직접 온보드 센서의 온도를 요청하고, 평균을 내어 상승했으면 시스템 팀 전체에 데이터센터 과열 여부를 확인하라는 경보를 발송한다.

나는 한 번 반대의 일을 했다. 사무실 '서버실'(랙 세 개가 있는 작은 방으로, 두 개는 패치 패널용, 하나는 서버와 스위치용)은 컴프레서가 켜진 상태에서 잠기고 얼어붙는 경향이 있는 미니 스플릿으로 냉방되었는데(컴프레서를 제어하는 릴레이가 고장 나서), 얼음 때문에 공기 순환이 멈췄다. 나는 서버 중 하나에서 실행되는 스크립트를 작성하여 IPMI를 통해 주변 온도를 읽어 방이 너무 추워지면 경고 이메일을 보내고, SSH를 사용해 인접 서버와 그 서버 자신의 전원을 끄도록 했다.

왜 해결책이 냉방을 다시 켜는 것이 아니라 서버를 끄는 것이었는지 궁금하다. 온도를 충분히 빨리 안정화할 수 없었을까?