Pandas sollte aussterben
Pandas Should Go Extinct
Pandas ist zu langsam und speicherhungrig für moderne Workloads. Der Autor argumentiert, dass die meisten Datenprobleme im Bereich von 100 GB liegen – zu groß für Pandas, aber zu klein für verteilte Systeme wie Spark. Er vergleicht Pandas mit Polars und DuckDB anhand der 1-Milliarde-Zeilen-Herausforderung: Polars und DuckDB sind deutlich schneller und benötigen weniger Speicher. DuckDB verbraucht 19-mal weniger Speicher als Pandas.
Sie haben wahrscheinlich keine Big Data und werden sie wahrscheinlich nie haben. Sie haben Medium-Data-Probleme und brauchen Medium-Data-Lösungen.