벤치마크가 틀렸다는 걸 아는 세 가지 방법
Bad benchmarks and evals: Senior SWE-Bench, napkin math, and winter tires
Dan Luu가 napkin math 성능 수치, Senior SWE-Bench 같은 AI 모델 평가, 그리고 겨울용 타이어라는 세 가지 벤치마크를 나란히 놓고 각각 무엇이 잘못됐는지 파헤친다. 랜덤 메모리 읽기 지연 시간을 재는 코드에는 데이터 의존성이 없어 여러 로드가 병렬로 실행되고, SSD 읽기 벤치마크는 정렬되지 않은 오프셋과 페이지 경계 문제를 안고 있다. 서로 다른 분야의 측정 오류가 같은 구조를 공유한다는 지적이다.
Jamie는 루프 반복 사이에 데이터 의존성이 없다는 점을 지적했는데, 그래서 여기서의 메모리 읽기는 병렬로 일어난다. 지연 시간이라고 주장하는 수치는 접근당 평균 시간으로 구하기 때문에, CPU가 여러 로드를 동시에 처리할 수 있다는 점을 감안하면 이는 잘못된 계산이다.