10GB RAM で 10 億規模グラフ処理：Apache DataFusion の驚異

Algorithms on billion-scale graph using 10GB RAM: I love DataFusion

私は Apache DataFusion を使って、10GB の RAM だけで 10 億エッジ規模のグラフアルゴリズムを実装しました。ディスクへのオフロードとバッチ処理を組み合わせることで、NetworkX や Igraph には不可能な大規模計算をノートパソコンで実現しました。Apache Spark や GraphFrames ではなく、軽量な環境でも PageRank や弱連結成分の解析が可能であることを証明しました。