13 年老 Xeon 无 GPU 跑飞 Gemma 4

Running Gemma 4 26B at 5 tokens/SEC on a 13-year-old Xeon with no GPU

我地下室里那台 13 年前的 HP StoreVirtual 存储服务器，原本只配存盘，如今却奇迹般跑起了 Google 的 Gemma 4 26B 模型。这台双路 Ivy Bridge Xeon 机器没有 GPU，甚至不支持 AVX2 指令集，导致原本优化的 ik_llama.cpp 直接崩溃。在 AI 助手 Claude 的帮助下，我定位了代码中因指令集缺失导致的隐藏状态错误，并手动修复了 C++ 内核的 fallback 逻辑。最终，这台成本不足 300 美元的老旧设备实现了每秒 5 个 token 的推理速度。这不仅是一次硬件极限挑战，更证明了真正的 AI 能力不在于租用昂贵的 GPU，而在于能否让模型在任意硬件上正确运行。

"“擅长 AI”的含义已悄然变成了“付费订阅”，但我认为真正的技能在于：足够了解模型，能将其指向无人封装的问题，并判断返回的答案是否真正正确。"