eBPFで謎のネットワークトラフィックを追跡し、原因を突き止めたHRTの全球クラスタ

Tracing Mystery Network Traffic with eBPF Across HRT's Global Compute Cluster

HRTの研究計算は世界中に分散し、サイト間のWAN帯域がボトルネックに。ある日、シカゴへの転送が突然停滞。既存のサービスログやスイッチカウンタでは原因不明だったが、eBPFをLinuxカーネルのtcp_recvmsgにフックし、PIDやバイト数をBPFマップで集計。NFSのカーネルワーカーによる通信も追跡し、設定ミスで数千のジョブがNYのファイルを直接読み込んでいたと判明。サービスログとeBPFを組み合わせ、ユーザーやワークフロー単位の帯域可視化を実現した。