A100 比 H100 更便宜？开源模型改变硬件经济
The Economics of Open-Weight Inference
传统观点认为新一代 NVIDIA GPU 会迅速淘汰旧款，但这篇论文通过数据推翻了这一假设。研究发现，在运行 gpt-oss-120b 等开源模型时，老旧的 A100 显卡在特定负载下的推理成本甚至低于最新的 H100。随着订阅制限制和长周期任务（如 Agent 和强化学习）的兴起，对延迟不敏感的工作负载更倾向于选择性价比最高的硬件。Ornn 的数据显示，A100 的五年租赁价格依然坚挺，证明只要存在合适的开源工作负载，旧款 GPU 就能延续其经济寿命，而非被技术迭代直接废弃。
这些发现挑战了关于新硬件将消除旧 GPU 盈利能力的预测，反而表明只要旧款 NVIDIA 代际能竞争性地服务于合适的工作负载，且运营商能自由部署这些工作负载，它们就能保留多年的盈利寿命。
HN 评论区
26- hungryhobbit
黑底深灰字：他们是不是故意不想让人读懂这篇文章啊！
- augment_me
我觉得一个有趣的点是，目前的硬件在报告的使用寿命结束后就完全没有实用价值了，这导致新实验室和小型实验室无法获得旧硬件集群，因为银行不愿意以这些硬件为抵押发放贷款。目前对于“过期”的 A100 集群或类似设备并没有公认的价格。
这显然不是事实，我们确实开始看到计算市场了，但仅限于租赁价格/小时，而不是硬件本身。我感觉这里正在人为构建护城河，以刺激新硬件的销售，因为如果 H100 的价格只有 1/16，其每美元浮点运算能力（dollar/FLOP）将与 Vera Rubin 相当。
- jcmontx
在我看来，开源权重模型的问题在于，人们会过快习惯前沿模型的能力；而退回到开源权重的“前沿减 2”或“前沿减 3”模型往往令人痛苦，因为它们感觉远不如更新款的闭源权重模型有用。老实说，我不知道有任何公司在大规模运营（如智能体或聊天助手）中使用开源权重模型。