Polars 2.0 schlägt DuckDB und DataFusion in SQL-Benchmarks
Release of Polars 2.0
Polars 2.0 ist da und bringt standardmäßig einen Streaming-Engine sowie Out-of-Core-Unterstützung. Die SQL-Unterstützung wurde erheblich ausgebaut, und in TPC-H- und TPC-DS-Benchmarks übertrifft Polars sowohl DuckDB als auch DataFusion. Ein neuer Map-Datentyp ermöglicht dictionary-ähnliche Operationen. Zudem setzt Polars auf striktere Typprüfungen, um Fehler frühzeitig zu erkennen.
Polars und beide DuckDB-Versionen haben alle Abfragen abgeschlossen. DataFusion lief bei TPC-DS q72 in ein Timeout (und einmal bei q67) und ging bei TPC-H q18 auf c7a.4xlarge der Speicher aus; diese Abfragen sind in den obigen Ergebnissen für alle Engines ausgeschlossen.