10GB RAM 으로 10 억 규모 그래프 분석: Apache DataFusion 의 놀라운 성능
Algorithms on billion-scale graph using 10GB RAM: I love DataFusion
저는 Apache DataFusion 을 활용해 메모리 제한 없이 10 억 개 이상의 엣지를 가진 그래프에서 PageRank 와 약연결성분을 계산하는 데 성공했습니다. 기존에는 Apache Spark 와 같은 대용량 도구가 필요하다고 생각했지만, 디스크 기반의 배치 처리로 노트북에서도 대규모 그래프 분석이 가능함을 확인했습니다.
과거에는 10 억 규모 그래프 분석에 Apache Spark 와 GraphFrames 이 필요하다고 생각했지만, 이제는 노트북 하나면 충분하다고 생각합니다.