Matrix-умножители на GPU не соответствуют стандарту IEEE 754, и это невозможно исправить программно

Accurate Models of AMD Matrix Cores

Исследование показывает, что matrix-умножители на современных GPU, включая AMD и NVIDIA, не следуют стандарту IEEE 754. Авторы охарактеризовали числовое поведение matrix-умножителей на трёх архитектурах AMD: CDNA 1, CDNA 2 и CDNA 3 (GPU MI100, MI210/250, MI300A/300X). Они разработали тестовые векторы для определения таких особенностей, как ширина аккумулятора, округление, обработка субнормалей и специальных входов. На основе MATLAB созданы модели, воспроизводящие результаты на битовом уровне, что подтверждено 10 миллионами случайных тестов. В качестве демонстрации модели использованы для сравнения точности приложений между AMD matrix cores и NVIDIA tensor cores.