揭秘 AMD Matrix Cores 的数值行为模型

Accurate Models of AMD Matrix Cores

现代 GPU 上的矩阵乘法器并不遵循 IEEE 754 浮点标准，导致不同设备间的计算结果无法复现。由于厂商未公开实现细节，解读这些差异变得异常困难。本研究深入剖析了 AMD 的 CDNA 1、CDNA 2 和 CDNA 3 架构，利用 MI100、MI210/250 及 MI300A/300X 等 GPU 进行特性表征。团队设计了针对性测试向量，并基于 MATLAB 构建了各架构的矩阵乘法器软件模型。通过 1000 万次随机测试向量的迭代验证，这些模型实现了与硬件的位级复现。最终，研究利用这些模型量化了 AMD Matrix Cores 与 NVIDIA Tensor Cores 在应用层面的精度差异，为数值计算研究提供了关键工具。