Microsoft, 7월 패치가 불러온 대규모 이메일 장애 인정

Microsoft blames monster email outage on software defect introduced in July fix

Microsoft, 7월 패치가 불러온 대규모 이메일 장애 인정

Microsoft는 지난주 발생한 Exchange Online 대규모 장애의 원인이 7월에 적용된 소프트웨어 결함이라고 밝혔다. 당시 부하 테스트를 통과했지만, 테스트가 코어 수가 적은 하드웨어에 치중해 고사양 서버에서 발생하는 lock contention을 잡지 못했다. Teams 페일오버와 14% 용량 손실이 겹치면서 결함이 연쇄 확산, 80% 이상의 서버가 응답 불능에 빠졌다. 롤백 대신 패치를 다시 패치하는 방식으로 복구했다.

“정상적인 자동 복구 프로세스는 이렇게 광범위한 무응답 상태에서 서비스를 복원하도록 설계되지 않았다.”
  1. mike_hearn

    여기엔 별로 놀랄 일이 없다. 대기업의 대규모 장애는 항상 이렇게 보인다.

    전력 산업에는 블랙 스타트(black start)라는 개념이 있는데, 전력망을 제로에서 다시 온라인으로 올리는 것이다. 이는 매우 어려운 작업인데, 발전기를 오프라인 상태의 전력망에 바로 연결하면 전체 수요를 맞닥뜨려 주파수를 적정 범위 내로 유지할 수 없고 장비가 손상될 수 있기 때문이다. 그래서 그들은 모든 부하를 먼저 차단한 다음, 사용 가능한 발전량과 다음 부하 블록의 크기를 대략 맞추면서 부하 블록을 순차적으로 다시 연결해야 한다. 실제로 블랙 스타트는 극히 드물지만, 어떤 원인으로 일부 발전소가 트립되고 부하가 남은 발전소로 재분배되어 그것들이 감당하지 못해 연쇄적으로 트립되는 상황 후에 발생할 수 있다. 이런 종류의 폭주성 고장이 시작되면 전체 전력망이 불과 60초 정도 만에 붕괴될 수 있다.

    이런 종류의 장애는 블랙 스타트와 매우 유사하다. 몇 대의 서버가 문제를 일으키면(아마 크래시 루프에 빠졌거나 캐시가 차가운 상태일 수 있다) 로드 밸런서가 트래픽을 나머지 서버로 옮기고, 그러면 그 서버들도 부하를 감당하지 못해 장애가 연쇄적으로 번진다. 서비스가 이런 상태에 빠지면 때로는 유일한 해결책이 모든 부하를 차단하고, 서버를 안정 상태로 되돌린 다음, 부하 블록을 작은 덩어리로 다시 온라인에 올리면서 어떤 것에도 즉시 전체 부하가 걸리지 않도록 하여 캐시나 JIT 컴파일러가 워밍업할 시간을 주는 것이다.

    그건 […]

  2. sinuhe69

    아무도 당연한 질문을 하지 않았다: 마이크로소프트의 이번 대규모 장애에 AI가 얼마나 기여했는가? 패치가 AI에 의해 프로그래밍되고 테스트되었는가? 그것들이 본질적으로 나쁘기 때문이 아니라, MS에 남아 있는 인간들이 그 패치를 얼마나 이해하는지에 대한 의문을 제기하기 때문이다. 그리고 AI 사용이 지식과 기술, 특히 네트워크 장애 점검, 로드 밸런싱, 페일오버 복구 같은 깊고 특화된 기술의 위축에 기여하여 대응과 복구 시간을 느리게 만든 것은 아닌가?

    작동하는 직관이 없다면, 재앙적 규모의 고압적이고 낯선 상황에서 복구 노력을 시작하기 위한 원인을 발견하는 것이 상당히 방해받을 수 있다.

    이는 타당한 질문이며 AI 시대에 특히 흥미롭다. 외부 도움에 너무 의존하기 시작하면 생산적이고 고도로 전문화된 기술이 상상보다 빠르게 퇴화할 수 있다.

  3. andix

    이 문제에 대해 이해가 안 되는 점이 하나 있다. 문제는 기본적으로 그들의 시스템이 정상 부하를 감당하지 못했다는 것이었다. 왜 어느 시점에서 연결을 끊거나 제한하여 부하를 줄이지 못했을까?

    예를 들어 특정(무작위) IP 범위에서 오는 연결만 허용하는 식으로. 심지어 5분마다 다른 범위로 순환시켜 클라이언트가 적어도 한 시간에 한 번은 동기화할 기회를 줄 수도 있었을 것이다.

    줄어든 부하를 이용해 서버를 다시 점진적으로 장애 없이 올리고, 용량을 추가하고, 접근을 점진적으로 복구할 수 있었을 것이다. 버그를 전혀 고치지 않고도 말이다. 시스템은 버그가 있어도 평소 부하를 처리해냈고, 단지 붕괴하게 만든 임계점에 도달했을 뿐이다. 리소스를 더 추가하는 것도 이를 해결했을 것이다.

  4. malkia

    락 경합, 특히 대규모 NUMA 시스템에서의 캐시 라인 경합. 하드웨어가 NUMA 머신으로 업그레이드되었거나, VM들이 각자 자신의 NUMA 노드(CPU, 캐시, 메모리)에 격리되어 있지 않았다면 이런 일이 발생할 수 있다.

    우리 도구로 목격한 적이 있는데, 한 아티스트에게 코어 수는 적지만 CPU가 많은 '서버' 같은 머신(좋다고 생각했다)을 주었고 NUMA 노드가 2개였는데, 갑자기 우리 게임의 레벨 에디터가 훨씬 느리게 실행되었다. std::shared_ptr<>나 비슷한 것들을 하루 종일 탓할 수도 있었지만, 문제는 거기 있었고 실제였다.

    4KB 인터리브 페이징을 시도했지만 그러면 모든 것이 똑같이 느려졌다. 결국 우리는 앱이 하나의 NUMA 노드에서만 실행되도록 차단했고(여전히 다른 노드의 메모리를 사용하면서), 상황은 '정상'으로 돌아왔다. '정상'인 이유는 약속이 지켜지지 않았기 때문이다. 모든 CPU를 사용할 수 없었다.

  5. mindwok

    여기서 가장 놀라운 점은 그들이 중요한 네트워크 인프라에 Windows를 사용한다는 것이다. Exchange 서버 자체 외에 Windows 프로세스가 여기서 어떤 역할을 한다는 게 놀랍다.

  6. nashashmi

    원본 출처 정보: https://x.com/clamanna/status/2122209697226948729

    더 나은 요약: https://www.neowin.net/news/microsoft-finally-explains-why-o...

  7. ncr100

    그들은 상대적으로 저사양인 테스트 환경이 7월 코드를 통과시켰고, 고사양 프로덕션 환경 머신과 다르다고 말하는데, 안타깝게도 테스트 단계에서 동시성 버그를 숨겼다.

    이것이 일반적으로 받아들여지는가? 비용이 많이 드는 트레이드오프라고 생각한다.

  8. colonCapitalDee

    내게는 꽤 전형적인 대기업의 심각한 장애처럼 보인다. 이런 일은 일어나기 마련이다!

  9. hmokiguess

    > 서비스 복구를 위해 열심히 일한 엔지니어들은 칭찬받아 마땅하며, 레드먼드에서 다시는 자기 음료수를 사지 않아도 되기를(또는 적어도 다음 해고 라운드에서 벗어나기를) 바란다.

    이게 무슨 뜻인가? 이해하지 못했다.

  10. kozikow

    물론 '하하 AI 쓰레기'라고 말하기는 쉽다.

    이런 일은 AI 이전에도 일어났다. 지금 더 자주 발생하는 이유 중 하나는 제품 개발 일정이 압축되었기 때문이다. 예를 들어 장애가 3배로 늘었지만 새로운 기능의 속도는 10배라고 하자.

    내게는 Outlook 팀이 이 규모의 서비스에 적절한 점진적 롤아웃을 갖추지 못한 것처럼 들린다. 예를 들어 새 버전을 서버의 10%에 롤아웃하고, 충분히 두었다가, 지표를 비교한 후 더 높은 비율로 올리는 식이다. 요즘 대부분의 '빅테크'는 이런 것을 갖추고 있다.

이 날의 다른 글

2026-11-16