Инженер спустя три года завершил реверс-инжиниринг Apple Neural Engine на чипе M1
Retrospectively Reverse-Engineering Apple's Neural Engine

Автор, забросивший драйвер ANE три года назад, возвращается к реверс-инжинирингу нейронного движка Apple M1. Он детально разбирает архитектуру: 16 вычислительных ядер с 2048 MAC-блоками, аккумулятор с насыщением в Q16.16, реализацию tanh через 33-точечную кусочно-линейную таблицу и планировщик задач, напоминающий GPU. Работа показывает, почему конвейер ANE, оптимизированный под CNN, оказался негибким для трансформеров, и предвещает закат отдельных NPU.
The M5 (2025)'s headline feature was "LLM performance", and they also conveniently folded the ANE cores inside the GPU cores — I knew it was coming, but it officially feels like the beginning of the end for the standalone NPU.
- zozbot234
Как это соотносится с более поздней работой над ANE в M4, найденной по адресу https://maderix.github.io/articles/ ? Предоставляет ли ANE в M4 и более поздних чипах какие-либо дополнительные возможности, или это просто более производительная итерация того же самого?
Кстати, введение к этой статье, похоже, смешивает ANE с Neural Accelerators (NAX), которые находятся в GPU M5+ (и их аналогах в A-серии). Это совершенно разные вещи, и Apple всё ещё работает над ANE — судя по всему, M6 и A20 получат удвоенные блоки ANE.
- GeekyBear
Стоит помнить, что этой осенью Apple выпускает новый фреймворк (Core AI), который выходит за рамки рабочих нагрузок Pytorch и Tensorflow, которые позволял десятилетний фреймворк Core ML.
> Core AI позволяет вашему приложению использовать новейшие архитектуры моделей и методы инференса на CPU, GPU и Neural Engine.
- throw0101a
Многие говорят/говорили, что Apple упустила свой шанс в области ИИ, в некоторых (важных) аспектах это верно, но, думаю, стоит помнить, что Apple добавила Neural Engine в чипы A-серии в 2017 году, до того как вся эта шумиха вокруг ИИ действительно началась:
* https://en.wikipedia.org/wiki/Neural_Engine
* https://apple.fandom.com/wiki/Neural_Engine
С тех пор «ИИ» вырос гораздо сильнее, и появились важные разработки, которые Apple не внедрила (как следует), но, думаю, в то время они смотрели вперёд немного дальше большинства (даже если последующие события их «обогнали»).
- anentropic
Потрясающий анализ
Тот же автор даже нашёл в нём баг https://eiln.github.io/posts/ane-dma.html
- CraigJPerry
Это не ИИ-мусор. Это увлекательно и хорошо написано.
Но я узнал одну действительно базовую вещь — я не знал, что ANE (и конвейер данных вокруг него) был спроектирован для CNN, а не для трансформеров. В моей голове это всегда было открытым вопросом: почему ANE оказался менее значимым, чем, как я понимал, должен был быть.