Microsoft объяснила глобальный сбой почты дефектом в июльском обновлении

Microsoft blames monster email outage on software defect introduced in July fix

Microsoft объяснила глобальный сбой почты дефектом в июльском обновлении

Microsoft назвала причиной масштабного сбоя Exchange Online дефект, внесённый в июле 2026 года. Ошибка в сетевом шлюзе проявилась только при сочетании возросшей нагрузки и потери части мощностей. Почти 80% серверов перестали отвечать, автоматическое восстановление не сработало, а откат был невозможен из-за возраста дефекта — инженерам пришлось выпускать патч для патча.

«Наши обычные автоматизированные процессы восстановления не были рассчитаны на возврат к работе из столь широкого нерабочего состояния».
  1. mike_hearn

    Ничего удивительного. Крупные сбои в больших компаниях всегда выглядят именно так.

    В электроэнергетике есть понятие «black start» — когда энергосистему запускают с нуля. Это очень сложная операция, потому что нельзя просто запустить генератор в обесточенную сеть: иначе он получит полную нагрузку и не сможет удержать частоту в нужном диапазоне, что может повредить оборудование. Поэтому сначала отключают все нагрузки, а затем последовательно подключают блоки нагрузки, стараясь примерно сбалансировать доступную генерацию с размером следующего блока. На практике black start случаются крайне редко, но могут произойти после каскадного отказа, когда что-то заставляет некоторые электростанции отключиться, перенаправляя нагрузку на оставшиеся, которые не справляются и тоже отключаются. Вся энергосистема может рухнуть всего за 60 секунд или около того, как только начинается такой лавинообразный отказ.

    Такой сбой очень похож на black start. Несколько серверов попадают в беду — возможно, они в цикле падений или их кэши холодные — балансировщики нагрузки перекидывают трафик на остальные, которые тоже не выдерживают нагрузку, и отказ распространяется каскадом. Когда сервис в таком состоянии, иногда единственное средство — отключить всю нагрузку, привести серверы в стабильное состояние, а затем подключать блоки нагрузки небольшими порциями, следя за тем, чтобы никогда не нагружать что-либо сразу полностью, чтобы кэши или JIT-компиляторы успели прогреться.

    Это […]

  2. sinuhe69

    Никто не задал очевидный вопрос: какую роль сыграл ИИ в эпическом провале Microsoft. Патч программировал и тестировал ИИ? Не потому, что они по своей природе плохи, а потому, что возникает вопрос: насколько оставшиеся люди в MS понимают этот патч? И не способствовало ли использование ИИ атрофии знаний и навыков, особенно глубоких, специфических навыков, таких как анализ сетевых сбоев, балансировка нагрузки и восстановление после отказа, что привело к более медленной реакции и времени восстановления?

    Без работающей интуиции обнаружение причин для начала восстановительных работ в стрессовой, незнакомой ситуации с катастрофическими масштабами может быть существенно затруднено.

    Это законные вопросы, и они особенно интересны в эпоху ИИ. Продуктивные, узкоспециализированные навыки могут деградировать быстрее, чем можно представить, как только мы начнём слишком полагаться на внешнюю помощь.

  3. andix

    Есть одна вещь, которую я не понимаю в этой проблеме. Проблема в основном была в том, что их система не справлялась с обычной нагрузкой. Почему они просто не могли снизить нагрузку в какой-то момент, отбрасывая/ограничивая соединения?

    Например, просто принимать соединения из определённых (случайных) диапазонов IP. Они могли бы даже переключаться между разными диапазонами каждые 5 минут, чтобы дать клиентам шанс синхронизироваться хотя бы раз в час.

    Сниженную нагрузку можно было бы использовать, чтобы постепенно снова поднять серверы без сбоев, добавить дополнительные мощности и постепенно восстановить доступ. Совсем без исправления бага. Система справлялась с обычной нагрузкой даже с багом, просто достигла некой критической точки, которая привела к коллапсу. Добавление ресурсов тоже решило бы эту проблему.

  4. malkia

    Конкуренция за блокировки, особенно за строки кэша в больших NUMA-системах. Если оборудование было обновлено до NUMA-машин или виртуальные машины не были закреплены каждая на своём NUMA-узле (CPU, кэши и память), то могло произойти нечто подобное.

    Мы видели это на наших собственных инструментах, когда художнику дали «серверную» машину с малым числом ядер, но многими процессорами (мы думали, что это хорошо), и 2 NUMA-узла, и вдруг редактор уровней для нашей игры стал работать намного медленнее. Мы могли бы винить std::shared_ptr<> сколько угодно, или что-то подобное, но проблема была налицо и реальна.

    Пробовали 4-килобайтное чередование страниц, но тогда всё стало одинаково медленным. В конце концов мы просто заблокировали приложение, чтобы оно работало только на одном NUMA-узле (всё ещё используя память с другого), и всё вернулось в «норму». «Норму», потому что обещания не были выполнены — мы не могли использовать все процессоры.

  5. mindwok

    Самое большое удивление здесь — что они используют Windows для критически важной сетевой инфраструктуры. Я удивлён, что процесс Windows играет какую-то роль вне самих серверов Exchange.

  6. nashashmi

    Информация из первоисточника: https://x.com/clamanna/status/2122209697226948729

    Лучшее резюме: https://www.neowin.net/news/microsoft-finally-explains-why-o...

  7. ncr100

    Они говорят, что их относительно низкопроизводительная тестовая среда ПРОШЛА проверку июльского кода и отличалась от их высокопроизводительных производственных машин, к сожалению, скрыв баг параллелизма на этапе тестирования.

    Это обычно приемлемо? Я бы предположил, что это дорогостоящий компромисс?

  8. colonCapitalDee

    По-моему, это довольно стандартный серьёзный сбой крупной компании. Такое случается!

  9. hmokiguess

    > Инженеры, которые лихорадочно работали над восстановлением сервисов, заслуживают похвалы и, будем надеяться, больше никогда не будут покупать напитки за свой счёт в Редмонде (или, по крайней мере, избегут следующего раунда увольнений).

    Что это значит? Я не понял.

  10. kozikow

    Конечно, легко сказать «ха-ха, ИИ-халтура».

    Подобное случалось и до ИИ. Одна из причин, почему это происходит чаще сейчас, — просто сроки разработки продуктов сжались. Так что, скажем, мы получаем в 3 раза больше сбоев, но при в 10 раз большей скорости выпуска новых функций.

    Мне кажется, у команды Outlook нет должного постепенного развёртывания для сервиса такого размера. Например, развернуть новую версию на 10% серверов, дать ей настояться, сравнить метрики, прежде чем расширять. У большинства «бигтехов» сейчас есть что-то подобное.

Ещё за этот день

2026-11-16