DuckDB で Parquet ファイルをページネーション：OFFSET と file_row_number の真実

Paging Through a Parquet File in DuckDB: File_row_number or Offset?

2000 万行の Parquet ファイルを DuckDB でページネーションする際、OFFSET ではなく file_row_number を使用した方が 2.5 倍高速になることを確認しました。ただし、より深刻な問題は、ORDER BY を指定しない OFFSET によるページネーションでデータが欠落したり重複したりするリスクです。行の総数だけでは検証できず、ハッシュ値での整合性チェックが必要です。