같은 Q4_K_M 모델인데 비트 수가 5.02, 5.07, 5.27? 로컬 LLM의 숨은 함정을 잡는 도구

Same model, same Q4_K_M label: 5.02, 5.07 and 5.27 bits per weight

로컬 LLM 성능 측정의 함정을 파헤치는 오픈소스 도구 'picchio'를 소개한다. 같은 Qwen3.5-9B 모델이 'Q4_K_M'이라는 동일한 라벨로 양자화되어도 실제 비트 수는 5.02부터 5.27까지 제각각이다. 또한 GPU가 조용히 CPU로 대체되는 '사일런트 CPU 폴백' 현상과, 프리필과 디코드 속도가 비대칭으로 떨어지는 문제를 단일 파일로 진단한다. llama.cpp와 ollama를 지원하며, 파이썬 표준 라이브러리만으로 동작한다.