AI 칩 아키텍처의 진화: GPU부터 웨이퍼 스케일 엔진까지
AI Chip Architectures
2018년 Turing 강연에서 John Hennessy와 David Patterson은 '컴퓨터 아키텍처의 새로운 황금기'를 예고하며 도메인 특화 아키텍처(DSA)의 필요성을 역설했습니다. 실제로 그 후 AI 칩 시장은 GPU, TPU, LPU, NPU, DPU, 웨이퍼 스케일 엔진, 뉴로모픽, 광집적, 아날로그 등 수십 가지 아키텍처가 등장하는 캄브리아기 폭발을 맞았습니다. 이 글은 NVIDIA GPU, Google TPU, Cerebras, Groq 등 주요 아키텍처의 철학, 구조, 확장 방식, 소프트웨어 스택을 비교 분석하며, AI 컴퓨팅의 핵심인 행렬 곱셈과 메모리 대역폭 문제를 해결하는 각기 다른 전략을 설명합니다.
컴퓨팅은 기하급수적으로 확장된 반면 메모리 대역폭은 그렇지 못했습니다. 이것이 '메모리 벽'으로 알려진 문제입니다.
HN 토론
46- hliyan
혹시 동기식 클록 신호에 제한되지 않는 CPU 아키텍처에서 신경망을 실행하는 작업을 하는 분 계신가요? 유기적 신경망은 본질적으로 비동기식이며, 신호는 네트워크의 각 부분을 저마다의 속도로 전파됩니다.
- ilaksh
그것들은 놀라운 성과이지만, 저는 인메모리(아날로그)나 다른 접근 방식 같은 연구 개발에 더 관심이 있습니다. EnCharge, Mythic 같은 회사들이요. 그리고 RRAM, MRAM, FET 같은 훨씬 더 효율적인 소자들, 예를 들어 AlScN을 사용한 FE-FET 같은 것들요. 막 연구에서 나오거나 아직 연구 중인 것들이 진정으로 엄청난 효율과 성능 향상의 잠재력 측면에서 더 흥미롭습니다. Taalas도 효율성과 속도 때문에 흥미롭습니다. AMD가 방금 인수했다고 하더군요.
- hadlock
저만 그런 걸 수도 있는데, 아주 얇은 글꼴과 레이아웃 디자인 때문에 이 글을 파싱하기가 무척 어렵습니다. 이탤릭체의 과도한 사용과 부적절한 사용도 혼란스럽습니다.
- pure_magic
이 텍스트는 거의 확실히 AI가 생성한 것입니다. 거의 읽을 수 없을 정도입니다.
- paaloeye
나쁘지 않은데, 세 개의 게시물로 나뉘었어야 했습니다.