ClickHouse уличил pgrust в подгонке под бенчмарк ClickBench
Remove pgrust: the entry is cheating
Из ClickBench удаляют запись pgrust: разбор бинарника показал, что для каждой из 43 задач бенчмарка встроен отдельный рукописный кернел, а «горячие» прогоны просто воспроизводят кэшированные ответы прошлого запуска. Запросы вне этих форм движок вообще отказывается выполнять. Результаты при этом верны — но измеряют они не базу данных, а таблицу подстановки под конкретный тест.
Проблема не в неверных результатах; проблема в том, что результаты измеряют таблицу подстановки для бенчмарка, а не базу данных.