本地 LLM 性能陷阱：picchio 揭秘真相

Same model, same Q4_K_M label: 5.02, 5.07 and 5.27 bits per weight

你以为的 GPU 加速可能只是幻觉。picchio 是一个单文件 Python 工具，专为本地 LLM 用户设计，能精准捕捉 silent CPU fallback 和 tok/s 标签误导。它深入分析 llama.cpp 和 ollama 的运行细节，揭示为何同样的 Q4_K_M 标签下，不同量化版本的实际权重位数差异巨大。通过分离 prefill、decode 和 wallclock 三条性能赛道，它帮你揪出那些看似在跑 GPU 实则悄悄退回到 CPU 的“静默”时刻。别再被单一的速度数字欺骗，用数据看清你的模型到底在用什么硬件干活。

"大多数 GPU 速度宣称只有一个 tok/s 数字，这个数字可能是对的，但依然会告诉你一个错误的故事。"