Как вернуть 50 ГБ/с из Apple Neural Engine

Getting 50 GB/S Back from the Apple Neural Engine

В Neural Engine чипа Apple M3 обнаружена ошибка производительности: при размере весов, кратном 1 МиБ, пропускная способность DRAM падает с номинальных 45–60 ГБ/с до 17–19 ГБ/с. Обход проблемного пути в спекулятивном префетче ядра DMA поднял скорость генерации Llama 3.2 1B с 10,0 до 24,3 токенов/с, а Qwen3-8B — с 1,36 до 2,97 токенов/с. Это затрагивает 7 из 15 моделей ANEMLL.