Apple Neural Engineの設計を完全に解き明かす——M1の内部構造から見えたNPUの終焉
Retrospectively Reverse-Engineering Apple's Neural Engine
AppleのNeural Engine（ANE）をリバースエンジニアリングした筆者が、M1チップの内部アーキテクチャを詳細に分析。16個の演算コア、MACレーン、スケジューラ、メモリ、実行モデルを解明し、CNN時代のNPUからトランスフォーマーを動かすGPUへの移行を裏付ける設計上の仮定を明らかにする。M5でANEコアがGPUに統合されたことは、スタンドアロンNPUの終わりの始まりを象徴している。
M5（2025年）の目玉機能は「LLMパフォーマンス」であり、彼らは都合よくANEコアをGPUコア内に折り畳んだ——来ることは分かっていたが、スタンドアロンNPUの終わりの始まりとして公式に感じられる。
HNでの議論
33- zozbot234
これは、https://maderix.github.io/articles/ にあるM4 ANEに関するより最近の研究とどう関係するのだろうか？M4以降のANEは追加の機能を公開しているのか、それとも同じものの高性能版に過ぎないのか？
余談だが、この記事の導入部はANEとM5+（およびAシリーズ相当）のGPUにあるNeural Accelerators（NAX）を混同しているように思える。これらは全く別物であり、Appleは依然としてANEに取り組んでいる——M6とA20にはどうやらANEブロックが倍増するらしい。
- GeekyBear
覚えておく価値があるのは、Appleがこの秋に新しいフレームワーク（Core AI）をリリースすることだ。これは10年前のCore MLフレームワークが許容していたPyTorchやTensorFlowのワークロードを超えるものだ。
> Core AIを使えば、アプリはCPU、GPU、Neural Engineにわたって最新のモデルアーキテクチャと推論技術を利用できる。
- throw0101a
多くの人々が、AppleはAIに関して出遅れたと言っている（ある重要な側面ではそれは正しい）。しかし、AppleがAIの大騒ぎが本格化する前に、2017年にAシリーズチップにNeural Engineを追加したことを思い出す価値がある：
* https://en.wikipedia.org/wiki/Neural_Engine
* https://apple.fandom.com/wiki/Neural_Engine
「AI」はそれ以来ずっと成長しており、Appleが（うまく）展開できなかった重要な進展もあるが、当時はほとんどの人よりも少し先を見ていたと思う（たとえその後、状況が彼らから「逃げていった」としても）。
- anentropic
素晴らしい分析
同じ著者がバグまで見つけている https://eiln.github.io/posts/ane-dma.html
- CraigJPerry
これはAIのスロップではない。魅力的でよく書かれている。
しかし、私は本当に基本的なことを学んだ——ANE（およびその周辺のデータパイプライン）がトランスフォーマーではなくCNN向けに設計されていたことを知らなかった。なぜANEが私が理解していたよりも影響力が少ないのか、ずっと頭の中で未解決だった。