AI 推理成本暴跌，Token 已廉价到无法计量

Tokens Too Cheap to Meter

机器学习智能的使用成本正以每年几个数量级的速度下降，且未见放缓迹象。未来一两年内，LLM 将作为基础设施深度融入计算的每个环节；三到六年内，我们甚至能在普通硬件上本地运行前沿质量的模型。限制 AI 发展的瓶颈将不再是价格，而是质量与获取途径。从 GPU 能效的指数级提升，到 Mixture-of-Experts 架构和 Mamba 模型对显存需求的降低，再到 Jev 这种专用分类器将推理成本压低至每十亿 Token 仅 42 美元，AI 正在变得比电力更便宜。