ClickBench、43クエリ専用に作り込まれたpgrustを「チート」として除外
Remove pgrust: the entry is cheating
ClickHouseのAlexey Milovidov氏が、ベンチマークエントリpgrustの削除を提案した。リリースバイナリにはClickBenchの各クエリ専用のカーネルが埋め込まれ、ホットランでは前回の結果をキャッシュから再生している。43クエリを外れた単純な変形クエリすら実行を拒否される一方、ベンチマーク対象の答え自体は正しいという点が問題の核心だ。
問題は結果が間違っていることではなく、その結果がデータベースではなくベンチマークのルックアップテーブルを測っていることだ。