Apple abandonó su Neural Engine: la historia de una ingeniería inversa
Retrospectively Reverse-Engineering Apple's Neural Engine

El autor retoma la ingeniería inversa del Neural Engine de Apple en el M1, tres años después de abandonarla. Descubre que los 16 núcleos de cómputo usan MACs de 128 carriles FP16, con acumuladores de 32 bits que saturan a ±32768, y una activación tanh implementada como una tabla de búsqueda de 33 entradas con interpolación lineal. Concluye que la arquitectura, optimizada para CNN, no encaja con los transformers, y que la integración del ANE en la GPU del M5 marca su declive.
El M5 (2025) tuvo como característica principal el 'rendimiento LLM', y además integraron convenientemente los núcleos del ANE dentro de los núcleos de la GPU; sabía que iba a pasar, pero oficialmente parece el principio del fin de la NPU independiente.
- zozbot234
¿Cómo se relaciona esto con el trabajo más reciente sobre el ANE del M4 que se encuentra en https://maderix.github.io/articles/ ? ¿El ANE del M4 y posteriores expone capacidades adicionales, o es solo una iteración de mayor rendimiento de lo mismo?
Como aparte, la introducción de este artículo parece confundir el ANE con los Neural Accelerators (NAX) que se encuentran en las GPUs del M5+ (y sus equivalentes de la serie A). Estas son cosas muy diferentes, y Apple sigue trabajando en el ANE: al parecer, el M6 y el A20 incluirán bloques ANE duplicados.
- GeekyBear
Vale la pena recordar que Apple lanzará este otoño un nuevo framework (Core AI) que va más allá de las cargas de trabajo de Pytorch y Tensorflow que permitía el framework Core ML, que ya tiene una década.
> Core AI permite que tu app use las arquitecturas de modelos y técnicas de inferencia más recientes en la CPU, la GPU y el Neural Engine.
- throw0101a
Mucha gente dice/decía que Apple ha perdido el tren en lo que respecta a la IA; en algunos aspectos (importantes) eso es cierto, pero creo que vale la pena recordar que Apple añadió el Neural Engine a los chips de la serie A en 2017, antes de que empezara realmente el revuelo de la IA:
* https://en.wikipedia.org/wiki/Neural_Engine
* https://apple.fandom.com/wiki/Neural_Engine
La "IA" ha crecido mucho más desde entonces, y ha habido desarrollos importantes que Apple no ha desplegado (bien), pero creo que en aquel momento estaban mirando un poco más hacia el futuro que la mayoría (aunque luego los acontecimientos se les 'escaparan').
- anentropic
Análisis increíble
El mismo autor incluso encontró un bug en él https://eiln.github.io/posts/ane-dma.html
- CraigJPerry
Esto no es basura generada por IA. Es fascinante y está bien escrito.
Pero aprendí algo muy básico: no sabía que el ANE (y el pipeline de datos a su alrededor) estaba diseñado para CNN en lugar de transformers. Siempre ha sido un bucle abierto en mi cabeza, preguntándome por qué el ANE tenía menos impacto del que yo entendía que debería tener.