시스템 속 좀비 찾기: CPU 병목 현상의 실제 이야기

Finding zombies in our systems: A real-world story of CPU bottlenecks

Pinterest의 Kubernetes 플랫폼 팀(PinCompute)은 ML 플랫폼 팀의 Ray 기반 분산 학습 작업이 반복적으로 충돌하는 문제를 조사했습니다. 원인은 AWS ENA 네트워크 드라이버의 리셋이었고, 이는 특정 가용 영역의 머신에서 CPU 코어 하나가 100% 시스템 CPU를 사용하며 네트워크 스레드가 기아 상태에 빠지는 것이었습니다. 팀은 perf와 mpstat를 사용해 프로파일링했지만, 간헐적인 프로세스를 찾기 위해 시간 기반 프로파일링을 도입했습니다. 결국 좀비 프로세스가 원인임을 발견하고 해결책을 모색했습니다.