Microsoft、7月の修正が招いた大規模メール障害の原因を説明

Microsoft blames monster email outage on software defect introduced in July fix

Microsoft、7月の修正が招いた大規模メール障害の原因を説明

Microsoftは11月12日のExchange Online大規模障害の予備報告書を公開した。原因は7月に適用されたネットワークゲートウェイの更新で、負荷テストはコア数の少ない旧型ハードでしか行われていなかった。Teamsのフェイルオーバーによる負荷急増と約14%の容量喪失が重なり、ロック競合で80%以上のサーバーが応答不能に。数か月前の欠陥のためロールバックもできず、エンジニアは修正への修正を適用して復旧させた。

「通常の自動復旧プロセスは、これほど広範な応答不能状態からのサービス復旧を想定していなかった」
  1. mike_hearn

    ここに大きな驚きはない。大企業の大規模障害はいつもこんな感じだ。

    電力業界には「ブラックスタート」と呼ばれる概念がある。ゼロから電力網を立ち上げることだ。これは非常に難しい作業で、発電機をオフラインの電力網に直接つなぐと全需要を浴びて周波数を適正範囲に保てず、機器を損傷する恐れがある。だからまず全ての負荷を切り離し、その後負荷ブロックを順番に戻していく。利用可能な発電量と次のブロックの大きさを大体バランスさせながら進める。実際にはブラックスタートは極めて稀だが、連鎖的な故障の後に起こり得る。何かが原因で一部の発電所がトリップし、残りの発電所に負荷が振り向けられて処理できず、今度はそれがトリップする。こうした暴走型の故障が始まると、電力網全体がわずか60秒ほどで崩壊し得る。

    この種の障害はブラックスタートに非常によく似ている。少数のサーバーが問題を起こす——クラッシュループに陥っているか、キャッシュが冷えているかもしれない——と、ロードバランサーがトラフィックを残りに振り向け、それが負荷を処理できずに故障が連鎖する。サービスがこの状態になると、時には唯一の対処法は全負荷を切り離し、サーバーを安定状態に戻し、その後負荷ブロックを小さな塊でオンラインに戻していくことだ。何かに即座に全負荷をかけないようにして、キャッシュやJITコンパイラがウォームアップする時間を確保する。

    それは[…]

  2. sinuhe69

    誰も明らかな質問をしていない。Microsoftの壮大な失敗にAIがどれだけ寄与したのか?パッチはAIによってプログラムされテストされたのか?AIが本質的に悪いからではなく、MSに残った人間がパッチをどれだけ理解しているかという疑問が生じる。そしてAIの使用が知識やスキルの萎縮、特にネットワーク障害の検査、ロードバランシング、フェイルオーバー回復といった深く専門的なスキルの萎縮に寄与し、対応と回復の遅れにつながったのか?

    機能する直感がなければ、壊滅的な規模の高ストレスで不慣れな状況で原因を突き止め回復作業を開始するのは著しく妨げられる可能性がある。

    これらは妥当な疑問であり、AI時代に特に興味深い。生産的で高度に専門化されたスキルは、外部の助けにあまり依存し始めると、想像以上に早く劣化し得る。

  3. andix

    この問題で一つ分からないことがある。問題は基本的に彼らのシステムが通常の負荷を処理できなかったことだ。なぜある時点で接続を落とすか制限するだけで負荷を減らせなかったのか?

    例えば特定の(ランダムな)IP範囲からの接続だけを受け入れるとか。5分ごとに異なる範囲を巡回させて、クライアントが少なくとも1時間に一度は同期できる機会を与えることさえできる。

    減らした負荷を使って、障害を起こさずにサーバーを徐々に復旧させ、追加容量を加え、アクセスを段階的に回復できる。バグを全く修正しなくても。システムはバグがあっても通常の負荷を処理できていたが、ある臨界点に達して崩壊しただけだ。リソースを追加すればそれも解決する。

  4. malkia

    ロック競合、特に大規模NUMAシステムでのキャッシュライン競合だ。ハードウェアがNUMAマシンにアップグレードされたか、VMがそれぞれ独自のNUMAノード(CPU、キャッシュ、メモリ)に固定されていなかったなら、こういうことが起こる。

    我々自身のツールで見たことがある。アーティストに多くのCPUを備えた低コアの「サーバー」のようなマシン(良いと思った)と2つのNUMAノードが与えられ、突然ゲームのレベルエディタがずっと遅くなった。std::shared_ptr<>のせいにするのは簡単だが、それは現実に存在した。

    4KBインターリーブページングを試したが、今度はすべてが等しく遅くなった。結局アプリを1つのNUMAノードだけで実行するように制限し(メモリは他のノードから使用)、「正常」に戻った。「正常」なのは、約束が守られなかったからだ——全てのCPUを使えなかった。

  5. mindwok

    ここでの最大の驚きは、重要なネットワークインフラにWindowsを使っていることだ。Exchangeサーバー自体以外でWindowsプロセスが何らかの役割を担っていることに驚く。

  6. nashashmi

    元の情報源: https://x.com/clamanna/status/2122209697226948729

    より良い要約: https://www.neowin.net/news/microsoft-finally-explains-why-o...

  7. ncr100

    彼らは比較的低スペックのテスト環境が7月のコードをPASSし、それがハイエンドの本番環境マシンとは異なるため、テスト段階で並行性のバグが隠れてしまったと話している。

    これは一般的に許容されることなのか?コストのかかるトレードオフだと思うのだが?

  8. colonCapitalDee

    自分にはごく標準的な大企業の重大障害に見える。こういうことは起こるものだ!

  9. hmokiguess

    > サービス復旧に奔走したエンジニアたちは称賛に値し、レドモンドで二度と自分の飲み物を買わずに済むことを願う(少なくとも次の解雇の波を免れることを)。

    これはどういう意味?理解できなかった

  10. kozikow

    もちろん「はは、AIスロップだ」と言うのは簡単だ。

    こういうことはAI以前にも起こっていた。今より頻繁に起こる理由の一つは、製品開発のタイムラインが圧縮されたことだ。だから障害が3倍になっても、新機能の速度は10倍だとしよう。

    自分にはOutlookチームがこの規模のサービスに対して適切な段階的ロールアウトを行っていないように聞こえる。新バージョンを10%のサーバーにロールアウトし、様子を見て、メトリクスを比較してからより高い割合に広げる、といったことだ。今ではほとんどの「ビッグテック」がこういう仕組みを持っている。

この日のほかの記事

2026-11-16