ClickBench, 43개 쿼리 전용 커널로 점수 조작한 pgrust 퇴출
Remove pgrust: the entry is cheating
ClickHouse의 Alexey Milovidov가 ClickBench에서 pgrust 항목을 제거하는 PR을 올렸다. pgrust 바이너리에는 43개 벤치마크 쿼리 각각에 대응하는 수작업 커널이 내장돼 있고, 반복 실행 시 이전 결과를 캐시에서 재생해 수 밀리초대 기록을 냈다. 96코어 Graviton에서 진짜 콜드 스타트로 측정하면 Q20은 10.8초가 걸린다. 43개 형태를 벗어난 쿼리는 아예 거부되며, INSERT도 지원하지 않는다.
문제는 결과가 틀렸다는 게 아니라, 그 결과가 데이터베이스가 아닌 벤치마크용 조회 테이블을 측정한다는 것이다.