AMD收购Taalas：将模型刻入硅片

AMD acquires Taalas to boost inference performance by etching models in silicon

AMD为了挑战Nvidia在AI硬件领域的霸主地位，收购了AI芯片初创公司Taalas。Taalas采用独特的技术，将模型权重直接刻录到硅片中，而非依赖HBM存储，这种模型专用集成电路（MSIC）有望将推理性能提升一个数量级。其首款测试芯片HC1在运行Meta的Llama 3.1 8B模型时，速度达到每秒16,960个token，远超Nvidia GPU和Cerebras加速器。虽然该技术意味着一旦芯片部署，模型便难以更改，但Taalas表示仅需修改两层金属即可适配新模型，成本远低于重新训练。AMD计划将其Instinct加速器的Helios机架与Taalas芯片结合，构建混合架构，以大幅降低推理成本并提升速度。