七月补丁埋雷,微软邮件瘫痪
Microsoft blames monster email outage on software defect introduced in July fix

微软将近期史诗级的邮件服务中断归咎于今年七月引入的一个软件缺陷。该问题潜伏在网络网关服务器中,直到负载激增与部分服务器容量下降同时发生,才触发了内部Windows进程的锁竞争,导致CPU和内存资源耗尽。由于故障已存在数月,简单的回滚方案失效,工程师不得不紧急开发“补丁的补丁”来恢复服务。此次事件暴露了微软在负载测试中对硬件配置覆盖不足的问题,最终导致超过80%的服务器无响应,Exchange Online等服务长时间中断。
夏季的代码变更引发了秋季的故障—— frantic 的工程师不得不修补补丁,而不是回滚系统。
HN 评论区
332- mike_hearn
没什么大惊喜。大公司的重大故障看起来总是这样。
电力行业有个概念叫“黑启动”(black start),即从零开始将电网重新上线。这是一项非常困难的操作,因为你不能直接将发电机接入离线电网,否则它会承受全部负载需求,无法将频率维持在正确范围内,从而损坏设备。因此,他们必须先断开所有负载,然后按顺序逐步恢复负载块,努力使可用发电量与下一个负载块的规模大致平衡。实际上,黑启动极其罕见,但在级联故障后可能发生:某种原因导致部分发电站跳闸,负载被转移到剩余电站,而它们无法承受,进而也跳闸。一旦这种失控故障开始,整个电网可能在 60 秒左右内彻底崩溃。
这类故障与黑启动非常类似。几台服务器出现问题——也许它们陷入了崩溃循环,或者缓存是冷的——负载均衡器将流量转移到剩余服务器,而这些服务器也无法承受负载,于是故障级联扩散。一旦服务进入这种状态,有时唯一的补救措施就是断开所有负载,让服务器恢复稳定,然后以小批量方式逐步恢复负载块,确保绝不会立即让任何组件承受全部负载,以便缓存或 JIT 编译器有时间预热。
它……
- andix
关于这个问题,有一点我不太明白。问题基本上是他们系统无法承受正常负载。为什么他们不能通过丢弃或限制连接来在某个时间点降低负载呢?
例如,只接受来自特定(随机)IP 范围的连接。他们甚至可以每 5 分钟轮换不同的范围,让客户至少每小时有一次同步机会。
降低后的负载可用于逐步重启服务器而不会失败,增加额外容量,并逐步恢复访问。完全不需要修复那个 bug。即使存在 bug,系统也能处理常规负载,只是触及了某个临界点导致崩溃。增加更多资源也能解决这个问题。
- mindwok
这里最大的惊讶是他们竟然用 Windows 来运行关键的网络基础设施。除了 Exchange 服务器本身,我没想到 Windows 进程在这里还有什么作用。
- nashashmi
原始来源信息:https://x.com/clamanna/status/2122209697226948729
更好的摘要:https://www.neowin.net/news/microsoft-finally-explains-why-o...
- ncr100
他们提到他们的相对低端测试环境通过了七月代码的测试,而这与高端生产环境机器不同,可悲的是在测试阶段掩盖了并发 bug。
这算是普遍可接受的做法吗?我想这应该是一个代价高昂的权衡吧?
- hmokiguess
“那些不眠不休恢复服务的工程师值得表彰,希望他们以后再也不用自掏腰包买饮料了(或者至少能躲过下一轮裁员)。”
这是什么意思?我没看懂。
- colonCapitalDee
在我看来,这似乎是一家大公司典型的严重故障。这种事时有发生!
- k0morebi
我不是网络工程师,所以真的很好奇在 365、Azure、AWS 等如此庞大的规模下,这类问题是如何处理的。
我的知识仅限于 nginx 或 traefik 负载均衡,在这个规模上几乎等于一无所知。但看起来应该有系统可以简单地丢弃超额流量的滑动百分比,或者在达到临界阈值时屏蔽某些区域,而不是通过将越来越多的请求转发给下游下一个受害服务器来加剧问题。