用 eBPF 追踪 HRT 全球集群的网络谜团

Tracing Mystery Network Traffic with eBPF Across HRT's Global Compute Cluster

随着 HRT 的计算资源扩展到全球，跨站点的 WAN 带宽成了关键瓶颈。一次模型训练任务在 Chicago 和 New York 之间卡住，我们起初以为只是 DupeDog 服务被其他用户占用了带宽。但深入排查发现，真正的流量杀手竟是一个配置错误导致的 NFS 重复传输。为了解决这种“黑盒”流量问题，我们利用 eBPF 技术深入 Linux 内核，挂钩 tcp_recvmsg 等函数，结合 BPF Maps 统计每个用户和程序的字节流量。最终，我们不仅定位了由 root 用户发起的异常 NFS 流量，还成功将流量归因到具体的用户和 workflow，让原本不可见的网络行为变得清晰可查。