AMD收购Taalas：将模型刻入硅片
AMD acquires Taalas to boost inference performance by etching models in silicon
AMD为了挑战Nvidia在AI硬件领域的霸主地位，收购了AI芯片初创公司Taalas。Taalas采用独特的技术，将模型权重直接刻录到硅片中，而非依赖HBM存储，这种模型专用集成电路（MSIC）有望将推理性能提升一个数量级。其首款测试芯片HC1在运行Meta的Llama 3.1 8B模型时，速度达到每秒16,960个token，远超Nvidia GPU和Cerebras加速器。虽然该技术意味着一旦芯片部署，模型便难以更改，但Taalas表示仅需修改两层金属即可适配新模型，成本远低于重新训练。AMD计划将其Instinct加速器的Helios机架与Taalas芯片结合，构建混合架构，以大幅降低推理成本并提升速度。
Taalas的芯片不依赖HBM来存储模型权重，而是直接将它们刻入硅片中。
HN 评论区
660- LarsDu88
我很惊讶 OpenAI 和 Anthropic 都没有率先迈出这一步。中国开源权重模型正在迎头赶上，并将其价值主张商品化。
将模型直接烧录进硅片本应是构建护城河的下一步逻辑举措。
Google 已经在这么做了，他们除了拥有 TPU 之外，还有一个实验性项目，将量化的 Flash 塞进单个 TPU 中进行推理。
- linzhangrun
想到五六年之后，Fable 级别的智能就能以当前 100 倍的速度提供……这让我感到迷茫。我无法想象未来会是什么样子。
- whythismatters
- mNovak
我喜欢的一点是，这大大增加了科幻场景发生的概率：你在黑市上淘到一块热乎的芯片；传闻里面烧录了 Mythos 9 的权重……
- yassa9
有人能想象一下，如果把一个视频生成模型以 ASIC 的速度烧录进硅片会怎样？真正的科幻。
- msteffen
这很酷，但在我看来有点疯狂。
在所有关于模型基准测试和 AI 突破的讨论中，我个人很少看到对“峰值性能”和“可靠性能”的区分。前沿模型的“峰值性能”非常高：它们能解决开放数学问题、分析大型代码库等等。但我主观感觉，“可靠性能”充其量也就中等：在我可能想到的 100 个随机问题中，它很可能至少会有几次给出错误或愚蠢的回答。
我认为这两者之间存在固有的张力：模型越倾向于达到极限或产生幻觉，它就越有可能提出棘手、微妙的解决方案（我觉得人类也有点像这样：Terry Tao 的弟弟是非言语的，Jim Watson 的儿子患有严重精神分裂症等）。但这样一来，它生成一封得体邮件回复的可能性就降低了。
我经常用模型来写代码，但我绝不会让它接管我的日常通讯。如果这里的想法是在数据中心以高速运行前沿模型，那可能很有用（速度会很酷），但我怀疑这种硬件频繁迭代的成本对前沿实验室来说是否值得。但如果想法是把它做成一种手机芯片，作为某种常规、低功耗的推理设备……把这种过于荒谬、无法依赖的东西烧录进手机硬件里，对我来说毫无意义。
- yumraj
鉴于模型迭代速度如此之快，这怎么运作呢？
等到硅片生产出来时，上面刻蚀的模型版本恐怕已经落后 1 个甚至更多版本了吧。
不过，如果足够便宜，肯定会有市场对廉价模型推理的需求。
- A_D_E_P_T
这大概是双赢。团队拿到了钱，而我们也能更确信他们那些真正令人印象深刻的最佳想法和架构，最终会落实到实际产品中。
- kristianp
我一直热切期待他们的第二代 HC2，它使用多颗芯片来托管一个“中等规模推理”[1] 模型。根据文章，它预计今年夏天发布，我想知道现在它是否还会以那种形式发布。
[1] https://www.forbes.com/sites/karlfreund/2026/02/19/taalas-la...
- hliyan
问题：我们目前通过在同步时钟 CPU 架构中执行矩阵运算来模拟神经网络。放弃同步，直接在硅片上刻蚀神经元突触，只保留权重可变，这样会不会更好？我想有些研究人员正在追求这个方向，但我忘了这种方法叫什么。