DuckDB v2.0 beschleunigt S3-Queries um das 3,7-fache

Asynchronous I/O in DuckDB: Work, Thread, Work

Mit der für Herbst 2026 geplanten Version 2.0 führt DuckDB asynchrone Lesevorgänge für Parquet- und CSV-Dateien ein. In Benchmarks auf TPC-H SF100 mit Daten in S3 und einer EC2-Instanz (r7i.16xlarge) verkürzte sich die Laufzeit von Query 6 von 8,23 Sekunden (v1.5.5) auf 2,84 Sekunden (v2.0.0-dev) – eine fast dreifache Beschleunigung. Durch zusätzliche Tuning-Optionen wie eine begrenzte Read-Ahead-Tiefe und optimierte HTTP-Einstellungen ließ sich die Ausführungszeit weiter auf 2,23 Sekunden senken, was einer 3,7-fachen Beschleunigung gegenüber der stabilen Version entspricht. Die asynchrone I/O-Architektur nutzt zwei Thread-Pools und eine Read-Ahead-Queue, um die Netzwerkbandbreite besser auszulasten und Latenzzeiten zu verbergen.