Microsoft nennt Softwaredefekt aus Juli-Update als Ursache für massiven E-Mail-Ausfall
Microsoft blames monster email outage on software defect introduced in July fix

Ein im Juli 2026 eingespieltes Update für die Netzwerk-Gateway-Server von Microsoft 365 enthielt einen latenten Defekt, der erst Monate später durch eine Lastspitze und einen Kapazitätsabfall ausgelöst wurde. Innerhalb von zwei Stunden waren über 80 Prozent der Server nicht mehr erreichbar. Ein einfaches Rollback war nicht möglich, da der Fehler zu alt war – die Ingenieure mussten den Patch patchen.
„Unsere normalen automatisierten Wiederherstellungsprozesse waren nicht darauf ausgelegt, den Dienst aus einem derart breitflächigen, nicht reagierenden Zustand wiederherzustellen.“
- mike_hearn
Keine großen Überraschungen hier. Große Ausfälle bei großen Firmen sehen anscheinend immer so aus.
Die Elektrizitätsindustrie hat diesen Begriff, den sie „Black Start“ nennen, bei dem sie das Netz von Null aus wieder hochfahren. Das ist eine sehr schwierige Operation, weil man einen Generator nicht direkt in ein offline-Netz starten kann, sonst wird er mit voller Last getroffen und kann die Frequenz nicht im richtigen Bereich halten, was Geräte beschädigen kann. Also müssen sie zuerst alle Lasten trennen und dann Lastblöcke nacheinander wieder zuschalten, wobei sie versuchen, die verfügbare Erzeugung grob mit der Größe des nächsten Blocks auszubalancieren. In der Praxis sind Black Starts extrem selten, aber sie können nach einem kaskadierenden Fehler auftreten, bei dem etwas dazu führt, dass einige Kraftwerke abschalten, wodurch die Last auf die verbleibenden Stationen umgeleitet wird, die sie nicht bewältigen können, was wiederum zu deren Abschaltung führt. Das gesamte Netz kann in nur etwa 60 Sekunden zusammenbrechen, sobald diese Art von unkontrolliertem Versagen einsetzt.
Diese Art von Ausfall ist sehr analog zu einem Black Start. Ein paar Server geraten in Schwierigkeiten – vielleicht sind sie in einer Crash-Schleife oder ihre Caches sind kalt – die Load Balancer verlagern den Datenverkehr auf den Rest, der die Last dann auch nicht bewältigen kann, und so kaskadiert der Fehler. Wenn ein Dienst erst einmal in diesem Zustand ist, ist manchmal die einzige Abhilfe, alle Last zu trennen, die Server wieder zur Stabilität zu bringen und dann Lastblöcke in kleinen Portionen wieder online zu nehmen, wobei man darauf achtet, niemals etwas sofort mit der vollen Last zu treffen, um sicherzustellen, dass alle Caches oder JIT-Compiler Zeit zum Aufwärmen haben.
Es ist […]
- sinuhe69
Niemand hat die offensichtliche Frage gestellt: Wie viel hat KI zu dem epischen Versagen von Microsoft beigetragen? Wurde der Patch von KI programmiert und getestet? Nicht weil sie von Natur aus schlecht sind, aber es drängt sich die Frage auf, wie viel die verbleibenden Menschen bei MS den Patch verstehen? Und hat die Verwendung von KI zur Atrophie von Wissen und Fähigkeiten beigetragen, insbesondere zu tiefen, spezifischen Fähigkeiten wie Netzwerkfehlerinspektion, Lastausgleich und Failover-Wiederherstellung, was zu einer langsameren Reaktion und Wiederherstellungszeit geführt hat?
Ohne eine funktionierende Intuition könnte die Entdeckung der Ursachen, um Wiederherstellungsbemühungen in einer hochstressigen, ungewohnten Situation mit katastrophalen Ausmaßen einzuleiten, erheblich behindert werden.
Das sind berechtigte Fragen und von besonderem Interesse im Zeitalter der KI. Produktive, hochspezialisierte Fähigkeiten könnten schneller verfallen, als man sich vorstellt, sobald wir uns zu sehr auf externe Hilfen verlassen.
- andix
Eine Sache verstehe ich bei diesem Problem nicht. Das Problem war im Grunde, dass ihr System die normale Last nicht bewältigen konnte. Warum konnten sie nicht einfach irgendwann die Last reduzieren, indem sie Verbindungen fallen ließen oder begrenzten?
Zum Beispiel einfach Verbindungen von bestimmten (zufälligen) IP-Bereichen akzeptieren. Sie könnten sogar alle 5 Minuten durch verschiedene Bereiche wechseln, um Clients die Chance zu geben, sich mindestens einmal pro Stunde zu synchronisieren.
Die reduzierte Last könnte genutzt werden, um Server schrittweise wieder hochzufahren, ohne zu scheitern, zusätzliche Kapazität hinzuzufügen und den Zugang schrittweise wiederherzustellen. Ganz ohne den Fehler überhaupt zu beheben. Das System schaffte es, die übliche Last sogar mit dem Fehler zu bewältigen, es erreichte nur einen kritischen Punkt, der es zum Kollabieren brachte. Mehr Ressourcen hinzuzufügen würde das auch beheben.
- malkia
Lock-Contention, insbesondere Cache-Line-Contention in großen NUMA-Systemen. Wenn die Hardware auf NUMA-Maschinen aufgerüstet wurde oder VMs nicht so abgeschottet wurden, dass jede in ihrem eigenen NUMA-Knoten sitzt (CPU, Caches & Speicher), dann würde so etwas passieren.
Wir haben mit unseren eigenen Tools gesehen, als einem Künstler eine „Server“-ähnliche Maschine mit wenigen Kernen, aber vielen CPUs zugewiesen wurde (gut, dachten wir), und 2 NUMA-Knoten, und plötzlich lief der Level-Editor für unser Spiel viel langsamer. Wir könnten std::shared_ptr<> den ganzen Tag die Schuld geben oder ähnlichem, aber es ist da und es war real.
Versucht mit 4kb-interleaved Paging, aber dann war alles gleichermaßen langsam. Am Ende haben wir einfach die App blockiert, nur auf einem NUMA-Knoten zu laufen (immer noch Speicher vom anderen nutzend), und die Dinge waren wieder „normal“. „Normal“, weil Versprechen nicht gehalten wurden – wir konnten nicht alle CPUs nutzen.
- mindwok
Die größte Überraschung hier ist, dass sie Windows für kritische Netzwerkinfrastruktur verwenden. Ich bin überrascht, dass ein Windows-Prozess hier überhaupt eine Rolle spielt, außerhalb der Exchange-Server selbst.
- nashashmi
Ursprüngliche Quellinformation: https://x.com/clamanna/status/2122209697226948729
Bessere Zusammenfassung: https://www.neowin.net/news/microsoft-finally-explains-why-o...
- ncr100
Sie sprechen davon, dass ihre relativ einfache Testumgebung den Juli-Code BESTANDEN hat und sich von ihren High-End-Produktionsumgebungsmaschinen unterscheidet, was den Concurrency-Bug während der Testphase leider verborgen hat.
Ist das allgemein akzeptabel? Ich würde mir vorstellen, dass es ein kostspieliger Kompromiss ist?
- colonCapitalDee
Scheint mir ein ziemlich standardmäßiger schwerer Ausfall eines großen Unternehmens zu sein. Solche Dinge passieren!
- hmokiguess
> Die Ingenieure, die fieberhaft an der Wiederherstellung der Dienste gearbeitet haben, verdienen Anerkennung und werden hoffentlich nie wieder ihre eigenen Getränke in Redmond kaufen müssen (oder zumindest der nächsten Entlassungsrunde entgehen).
Was bedeutet das? Ich habe es nicht verstanden
- kozikow
Natürlich ist es einfach zu sagen „haha KI-Müll“.
Solche Dinge passierten auch vor KI. Einer der Gründe, warum es jetzt häufiger passiert, ist einfach, dass die Zeitpläne der Produktentwicklung komprimiert sind. Sagen wir also, wir bekommen dreimal so viele Ausfälle, aber mit zehnfacher Geschwindigkeit neuer Funktionen.
FÜr mich klingt es so, als hätte das Outlook-Team keine richtige schrittweise Einführung für einen Dienst dieser Größe. Zum Beispiel die neue Version auf 10 % der Server ausrollen, sie einweichen lassen, Metriken vergleichen, bevor man höher ausrollt. Die meisten „Big Techs“ haben heutzutage so etwas.