HRT, eBPF로 글로벌 클러스터의 미스터리 네트워크 트래픽 추적
Tracing Mystery Network Traffic with eBPF Across HRT's Global Compute Cluster
HRT는 글로벌 컴퓨트 클러스터에서 WAN 대역폭을 포화시킨 원인을 찾기 위해 eBPF를 도입했다. tcp_recvmsg 후킹으로 사용자별 트래픽을 집계했지만, NFS 커널 워커가 root로 잡히는 문제를 해결하고자 저수준 NFS 함수까지 추적했다. 결국 시카고의 수천 개 작업이 뉴욕의 대용량 파일을 직접 읽도록 잘못 설정된 구성 오류가 원인이었다.
결국 우리는 무슨 일이 있었는지 알게 되었다. 그것은 당연히도 구성 오류였다. 시카고의 수천 개 작업이 뉴욕에 저장된 대용량 데이터 파일을 읽으려 했다.