Graph-Algorithmen auf Milliarden-Skala mit nur 10 GB RAM dank DataFusion
Algorithms on billion-scale graph using 10GB RAM: I love DataFusion
Ich habe Graph-Algorithmen wie PageRank und Weakly Connected Components mit Apache DataFusion auf einem Laptop implementiert. Selbst bei Milliarden von Kanten und nur 5 bis 10 GB Arbeitsspeicher funktioniert die Lösung, indem Daten auf die Festplatte ausgelagert werden. Dies zeigt, dass für solche Analysen kein Apache Spark mehr nötig ist.
Früher dachte ich, man bräuchte Apache Spark und GraphFrames für Graph-Analysen im Milliardenbereich. Heute glaube ich, alles, was man braucht, ist ein Laptop.