Apples Neural Engine: Ein Blick zurück auf das Ende des NPU-Zeitalters

Retrospectively Reverse-Engineering Apple's Neural Engine

Apples Neural Engine: Ein Blick zurück auf das Ende des NPU-Zeitalters

Vor drei Jahren stellte ich die Arbeit am reverse-engineerten ANE-Treiber ein, weil die Architektur zu speziell für allgemeine Beschleunigung war. Jetzt, da der M5 die ANE-Kerne in die GPU integriert, rekonstruiere ich die interne Architektur des M1-ANE – Compute, Datenpfad, Scheduler, Speicher und Ausführungsmodell –, um zu verstehen, welche Annahmen über ML-Workloads Apple 2017 in Silizium goss und was das über den Wandel von CNN-NPUs zu GPUs für Transformer sagt.

Die Annahme, die Transformer brachen, besonders beim autoregressiven Decoding, waren vorhersagbare Wiederverwendungsmuster, die die ANE ausnutzte, um einen Datenfluss zu entwerfen, der effizient genug war, um auf Telefonen zu laufen.
  1. zozbot234

    Wie verhält sich das zu der neueren Arbeit am M4 ANE, die unter https://maderix.github.io/articles/ zu finden ist? Bietet der M4 und spätere ANE zusätzliche Fähigkeiten, oder ist es nur eine leistungsfähigere Iteration desselben Dings?

    Nebenbei bemerkt scheint die Einleitung dieses Artikels den ANE mit den Neural Accelerators (NAX) zu verwechseln, die in den M5+ (und A-Serie-Äquivalenten) GPUs zu finden sind. Das sind sehr unterschiedliche Dinge, und Apple arbeitet immer noch am ANE – der M6 und A20 werden anscheinend verdoppelte ANE-Blöcke haben.

  2. GeekyBear

    Es lohnt sich, daran zu erinnern, dass Apple diesen Herbst ein neues Framework (Core AI) veröffentlicht, das über die Pytorch- und Tensorflow-Workloads hinausgeht, die das zehn Jahre alte Core ML Framework ermöglichte.

    > Core AI ermöglicht es deiner App, die neuesten Modellarchitekturen und Inferenztechniken über CPU, GPU und Neural Engine hinweg zu nutzen.

    https://developer.apple.com/documentation/coreai

  3. throw0101a

    Viele Leute sagen/sagten, dass Apple den Anschluss an die KI verpasst hat – in einigen (wichtigen) Aspekten stimmt das –, aber ich denke, es lohnt sich, daran zu erinnern, dass Apple die Neural Engine 2017 in die A-Serie-Chips eingeführt hat, bevor der KI-Hype so richtig losging:

    * https://en.wikipedia.org/wiki/Neural_Engine

    * https://apple.fandom.com/wiki/Neural_Engine

    Seitdem hat sich „KI“ viel weiterentwickelt, und es gab wichtige Entwicklungen, die Apple nicht (gut) umgesetzt hat, aber ich denke, sie haben damals etwas weiter vorausgeschaut als die meisten (auch wenn ihnen die Ereignisse anschließend ‚davongelaufen‘ sind).

  4. anentropic

    Erstaunliche Analyse

    Derselbe Autor hat sogar einen Bug darin gefunden https://eiln.github.io/posts/ane-dma.html

  5. CraigJPerry

    Das ist kein KI-Müll. Es ist faszinierend und gut geschrieben.

    Aber ich habe etwas wirklich Grundlegendes gelernt – ich wusste nicht, dass der ANE (und die Datenpipeline darum herum) für CNNs statt für Transformer ausgelegt war. In meinem Kopf war das immer eine offene Frage: Warum war der ANE weniger wirkungsvoll, als ich dachte, dass er sein sollte?

Mehr von diesem Tag

2026-09-12