2026 年：AI 推理硬件革命爆发
The Inference Hardware Revolution of 2026
自 2020 年以来，AI 界痴迷于训练更大的模型，但到了 2026 年，焦点已彻底转向推理。随着 LLM 的普及和 Agentic AI 的兴起，推理需求呈爆炸式增长。Nvidia 收购 Groq，OpenAI 与 Amazon 联手部署 Cerebras 芯片，科技巨头们正打破传统界限。与训练不同，推理面临严重的内存瓶颈，导致 GPU 大量闲置。d-Matrix 和 Majestic Labs 等初创公司正通过创新的内存架构挑战现状，而 Nvidia 和 Amazon 也在探索混合芯片策略。这场革命标志着 AI 硬件从单纯追求算力转向解决内存与数据移动的关键难题。
Matt Kimball 表示，训练就像是昨天的新闻，现在任何首席信息官想聊的只有推理。
HN 评论区
21- aschla
如果 AI 推理真的像 Kimball 预期的那样令人向往，那么其演变轨迹很可能与 CPU 如出一辙。CPU 的进步并非沿着单一轴线，而是同时在多个维度展开。一旦晶体管缩放放缓，各种芯片和系统架构的创新便层出不穷。列举出导致当今普及且强大的个人计算设备诞生的各项单独创新，足以写满几十本书。几十年后，AI 推理创新的历史也将展现出同样的深度。
在文章中提到的领域里，哪些最有可能产生最突出的创新影响？它们将包含什么内容？
- swimwiththebeat
> Tensordyne 预计将通过一种基于对数性质的对数数系来加速 AI 推理：A 乘以 B 的对数等于 A 的对数加上 B 的对数。因此，将数字存储为指数形式，可以让芯片在原本需要乘法的地方进行加法运算。这在硅基芯片上至关重要，因为乘法电路比加法电路消耗更多功耗，占用更多芯片面积。Tensordyne 表示，其名为 Napier 的机架级硬件，每位用户每秒可生成高达 1,300 个 token，同时功耗仅为同类 Nvidia 硬件的十分之一以下。
竟然不知道这个将数字存储为指数的酷炫技巧！这种技术有专门的名称吗？在指数和数字之间来回转换难道不会产生开销吗？
- ninju
读起来很棒。
作者用 Scrabble 拼字游戏来类比 LLM 训练，这个比喻我很喜欢，但不幸的是这个类比并没有延续到推理阶段，让我在试图跟上思路时感到有些迷失。