AIチップアーキテクチャの最前線：NVIDIA GPUからGroq LPUまで、データ移動を制する設計思想を徹底解説
AI Chip Architectures
2018年のチューリング賞講演でHennessyとPattersonが予言した「コンピュータアーキテクチャのカンブリア爆発」は現実のものとなった。現在、GPU、TPU、LPU、NPU、DPU、ASIC、ウェハスケールエンジン、再構成可能データフロー、ニューロモルフィック、フォトニック、アナログなど、数十ものアーキテクチャが開発されている。本稿は、AIコンピューティングの中心である行列乗算に焦点を当て、主要なアーキテクチャ（NVIDIA GPU、AMD、Google TPU、Cerebras、Groq LPUなど）の哲学、アーキテクチャ、スケーリング方法、ソフトウェアスタックを比較する。特に、データがどこに存在し、どのように計算ユニットに移動するかという「メモリウォール」問題への各社の戦略を解説する。
「次の10年は、新しいコンピュータアーキテクチャのカンブリア爆発を見ることになるだろう」
HNでの議論
46- hliyan
同期クロック信号に制限されないCPUアーキテクチャでニューラルネットワークを実行しようとしている人はいますか？有機的なニューラルネットワークは本質的に非同期であり、信号はネットワークのさまざまな部分をそれぞれのペースで伝播します。
- ilaksh
それらは素晴らしい成果ですが、私はインメモリ（アナログ）や他の異なるアプローチのような研究開発にもっと興味があります。EnChargeやMythicなどの企業です。そして、RRAM、MRAM、FETなどのより効率的なデバイス、例えばAlScNを使ったFE-FETなどです。研究から出てきたばかり、またはまだ研究中のものは、本当に大きな効率と性能の向上の可能性という点でよりエキサイティングです。Taalasもその効率性と速度のために興味深いです。たしかAMDに買収されたばかりですね。
- hadlock
私だけかもしれませんが、非常に細いフォントとレイアウトデザインのために、これを解析するのが非常に難しいと感じます。イタリックの過剰使用と不適切な使用も混乱を招きます。
- pure_magic
このテキストはおそらくAI生成です。ほぼ読めません。
- paaloeye
悪くないですが、3つの投稿に分けるべきではなかったでしょう。