분산 시스템이 노트북보다 느리다

Distributed System Is Slower Than a Laptop

2015년 논문 'Scalability! But at what COST?'에서 Frank McSherry 등은 분산 그래프 처리 시스템의 벤치마크를 단일 스레드 노트북으로 실행해 더 빠른 결과를 얻었다. 예를 들어, GraphLab은 Twitter 팔로워 그래프 연결 요소를 찾는 데 128코어로 242초가 걸렸지만, 노트북은 1970년대 union-find 기법으로 15초 만에 처리했다. 이 글은 이러한 현상이 여전히 지속되고 있음을 보여주며, 2억 건의 이벤트를 처리하는 중간 규모 SaaS 회사의 사례를 분석한다. 분산 아키텍처는 연간 137만 7천 달러가 드는 반면, 단일 머신으로는 5만 7천 달러로 충분하며, 오히려 더 빠르다. 하드웨어는 수백 배 발전했지만 분산 기본값이라는 습관은 남아 있다. 저자는 분산이 정당화되는 네 가지 경우(데이터가 너무 큰 경우, 가용성, 지리적 대기 시간, 조직 분할)를 제시하고, 아키텍처 승인 전에 단일 머신 기준선을 측정할 것을 권장한다.