DuckDB v2.0、非同期I/OでS3からのクエリが最大3.7倍高速化

Asynchronous I/O in DuckDB: Work, Thread, Work

DuckDB v2.0、非同期I/OでS3からのクエリが最大3.7倍高速化

DuckDBは2026年秋リリース予定のv2.0から、ParquetとCSVファイルの非同期読み取りをデフォルトでサポートします。これにより、EC2/S3構成などで同期I/Oが帯域幅を活かしきれない場合に、クエリを大幅に高速化できます。TPC-H Query 6 (SF100) のベンチマークでは、S3上の22GBのParquetファイルで実行時間が8.230秒から2.844秒に短縮され、さらにチューニングにより2.227秒(v1.5.5比3.7倍)を達成しました。非同期I/Oは、専用のASYNCスレッドプールと先読みキューを備え、メモリ管理も行われます。

It doesn't matter how fast query operators are in a database system if we can't pull in the data quickly.

同じ日のその他の記事

2026-08-16