HRT entlarvt mysteriösen Netzwerkverkehr mit eBPF
Tracing Mystery Network Traffic with eBPF Across HRT's Global Compute Cluster
HRT nutzt eBPF, um WAN-Traffic im globalen Compute-Cluster zu analysieren. Nach einem Vorfall, bei dem ein Modelltraining in Chicago auf Daten aus New York wartete, zeigte sich, dass NFS-Dateizugriffe die Bandbreite sättigten. Durch Tracing von tcp_recvmsg und NFS-Funktionen konnten die Verursacher identifiziert werden: Tausende Jobs lasen dieselbe Datei direkt vom Quell-Filer in New York, anstatt den verteilten Cache zu nutzen. Eine Fehlkonfiguration, die sich einfach beheben ließ.
Schließlich wissen wir, was passiert ist. Es war natürlich ein Konfigurationsfehler. Tausende Jobs in Chicago wollten eine große Datendatei lesen, die in New York gespeichert war.