서버가 00:32에 전원을 잃었지만 우리는 08:18에야 알았다

A Server Lost Power at 00:32. We Found Out at 08:18

2026년 8월 17일, Danube Data의 스토리지 서버 한 대가 전원을 잃고 8시간 15분 동안 다운되었습니다. S3 호환 객체 스토리지, 컨테이너 레지스트리, 서버리스 배포가 모두 중단되었지만, 기존 워크로드는 정상 작동했고 데이터 손실은 없었습니다. 문제는 서버가 죽은 사실을 아무도 몰랐다는 점입니다. 상태 페이지는 3분 만에 장애를 감지했지만, 엔지니어가 08:18에야 우연히 발견했습니다. 근본 원인은 객체 데이터의 erasure coding 청크가 서로 다른 머신에 분산되지 않아 한 대의 서버 손실로 전체 서비스가 중단된 것이었습니다. 또한 내부 부기 기록이 같은 머신에 중복 저장되어 읽기 장애가 완전한 연결 거부로 이어졌습니다. 같은 날, 온콜 전화 알림과 서버 전원을 자동으로 켜는 감시 시스템을 도입했지만, 스토리지 레이아웃과 용량 여유분은 아직 해결되지 않았습니다.