Microsoft culpa a un defecto de software introducido en una actualización de julio por la caída masiva de correo

Microsoft blames monster email outage on software defect introduced in July fix

Microsoft culpa a un defecto de software introducido en una actualización de julio por la caída masiva de correo

La caída global de Exchange Online del 12 de noviembre se originó en un defecto introducido en julio en los servidores de pasarela de red de Microsoft 365. Las pruebas de carga no detectaron el problema porque se centraron en hardware más débil. Un pico de carga por el failover de Teams y una reducción del 14% de capacidad desencadenaron un fallo en cascada que dejó más del 80% de los servidores sin responder. Los ingenieros no pudieron revertir la actualización y tuvieron que parchear el parche.

Nuestras pruebas de carga solían centrarse en hardware más débil con menos núcleos.
  1. mike_hearn

    No hay grandes sorpresas aquí. Las grandes caídas en las grandes empresas siempre parecen ser así.

    La industria eléctrica tiene este concepto que llaman arranque en negro, donde ponen la red en línea desde cero. Es una operación muy difícil porque no puedes arrancar un generador directamente en una red apagada, de lo contrario se ve golpeado por la demanda total y no puede mantener la frecuencia en el rango correcto, lo que puede dañar el equipo. Así que tienen que empezar desconectando todas las cargas y luego traer bloques de carga de vuelta en secuencia, tratando de equilibrar aproximadamente la generación disponible con el tamaño del siguiente bloque. En la práctica, los arranques en negro son extremadamente raros, pero pueden ocurrir después de una falla en cascada en la que algo hace que algunas centrales generadoras se disparen, redirigiendo la carga a las centrales restantes que no pueden manejarla, lo que hace que ellas también se disparen. Toda la red puede colapsar en solo 60 segundos más o menos una vez que comienza ese tipo de falla descontrolada.

    Este tipo de caída es muy análoga a un arranque en negro. Unos pocos servidores entran en problemas — tal vez están en un bucle de fallos o tal vez sus cachés están frías — los balanceadores de carga desvían el tráfico hacia los restantes, que tampoco pueden manejar la carga, y así la falla se propaga en cascada. Una vez que un servicio está en este estado, a veces el único remedio es desconectar toda la carga, llevar los servidores de vuelta a la estabilidad, y luego traer bloques de carga en línea en pequeños fragmentos, asegurándose de nunca golpear nada con la carga completa de inmediato para garantizar que cualquier caché o compilador JIT tenga tiempo de calentarse.

    Es […]

  2. sinuhe69

    Nadie ha hecho la pregunta obvia: cuánto contribuyó la IA al épico fallo de Microsoft. ¿El parche fue programado y probado por IA? No porque sean inherentemente malas, sino que plantea la cuestión de cuánto entienden los humanos restantes en MS el parche. ¿Y contribuyó el uso de IA a la atrofia del conocimiento y las habilidades, especialmente habilidades profundas y específicas como la inspección de fallos de red, el balanceo de carga y la recuperación de conmutación por error, que llevaron a una respuesta y un tiempo de recuperación más lentos?

    Sin una intuición funcional, descubrir las causas para iniciar el esfuerzo de recuperación en una situación de alto estrés y desconocida con dimensiones catastróficas podría verse significativamente obstaculizado.

    Son preguntas válidas y de particular interés en la era de la IA. Las habilidades productivas y altamente especializadas podrían degradarse más rápido de lo que uno imagina una vez que empezamos a depender demasiado de ayudas externas.

  3. andix

    Hay una cosa que no entiendo con este problema. El problema era básicamente que su sistema no podía manejar la carga normal. ¿Por qué no pudieron simplemente reducir la carga en algún momento limitando/descargando conexiones?

    Por ejemplo, aceptar solo conexiones de rangos de IP específicos (aleatorios). Incluso podrían rotar entre diferentes rangos cada 5 minutos para dar a los clientes la oportunidad de sincronizarse al menos una vez cada hora.

    La carga reducida podría usarse para levantar gradualmente los servidores de nuevo sin fallar, agregar capacidad adicional y restaurar el acceso gradualmente. Completamente sin corregir el error en absoluto. El sistema logró manejar la carga habitual incluso con el error, solo alcanzó algún punto crítico que lo hizo colapsar. Agregar más recursos también lo arreglaría.

  4. malkia

    Contención de bloqueos, especialmente contención de líneas de caché en grandes sistemas NUMA. Si el hardware se actualizó a máquinas NUMA, o las VM no se aislaron cada una para que residiera en su propio nodo NUMA (CPU, cachés y memoria), entonces algo como esto sucedería.

    Lo vimos con nuestras propias herramientas cuando a un artista se le dio una máquina "servidor" de pocos núcleos con muchas CPU (bueno, pensamos), y 2 nodos NUMA, y de repente el editor de niveles de nuestro juego funcionaba mucho más lento. Podríamos culpar a std::shared_ptr<> todo el día, o similar, pero está ahí y era real.

    Probamos la paginación intercalada de 4kb, pero entonces todo era igualmente lento. Al final simplemente bloqueamos la aplicación para que se ejecutara solo en un nodo NUMA (todavía usando memoria del otro), y las cosas volvieron a la "normalidad". "Normalidad", porque no se cumplieron las promesas: no pudimos usar todas las CPU.

  5. mindwok

    La mayor sorpresa aquí es que estén usando Windows para infraestructura de red crítica. Me sorprende que un proceso de Windows tenga algún papel aquí fuera de los propios servidores Exchange.

  6. nashashmi

    Información de la fuente original: https://x.com/clamanna/status/2122209697226948729

    Mejor resumen: https://www.neowin.net/news/microsoft-finally-explains-why-o...

  7. ncr100

    Hablan de que su entorno de pruebas de gama relativamente baja PASÓ el código de julio, y que es diferente de sus máquinas de producción de gama alta, ocultando tristemente el error de concurrencia durante la fase de prueba.

    ¿Es esto comúnmente aceptable? Me imagino que es un compromiso costoso, ¿no?

  8. colonCapitalDee

    Me parece una caída grave de una gran empresa bastante estándar. ¡Estas cosas pasan!

  9. hmokiguess

    > Los ingenieros que trabajaron febrilmente para restaurar los servicios merecen un reconocimiento y con suerte nunca tendrán que comprar sus propias bebidas en Redmond de nuevo (o al menos escapar de la próxima ronda de despidos).

    ¿Qué significa esto? No entendí

  10. kozikow

    Claro, es fácil decir "jaja, basura de IA".

    Cosas como esta también ocurrían antes de la IA. Una de las razones por las que ocurre con más frecuencia ahora es simplemente que los plazos de desarrollo de productos se han comprimido. Así que digamos que tenemos 3 veces más caídas, pero a 10 veces la velocidad de nuevas funciones.

    A mí me suena a que el equipo de Outlook no tiene un despliegue gradual adecuado para un servicio de este tamaño. Como desplegar la nueva versión al 10% de los servidores, dejarla reposar, comparar métricas antes de subir a más. La mayoría de las "bigtechs" tienen algo así hoy en día.

Más de este día

2026-11-16