同じQ4_K_M表記なのに実測5.02〜5.27ビット: ローカルLLMの「静かなCPUフォールバック」を暴くPythonツール

Same model, same Q4_K_M label: 5.02, 5.07 and 5.27 bits per weight

ローカルLLMの性能測定を巡る落とし穴を可視化する、依存関係ゼロのPythonファイル「picchio」が登場。llama.cppやollamaで、プレフィル・デコード・ウォールクロックの3つの速度を分離計測し、GPUが実際に使われているかをOSのGPUメーターと照合して判定する。同じQ4_K_MラベルのQwen3.5-9Bでも量子化器によって実効ビット/ウェイトが5.02〜5.27とばらつき、GPU喪失時はプレフィルが22倍遅くなる一方デコードは2倍未満の低下に留まるなど、従来の単一tok/s指標では見えない問題を浮き彫りにする。