DeepX, 5W 이하에서 1000억 파라미터 추론 가능한 2세대 AI 칩 공개
DeepX claims inference up to 100B parameters at less than 5 W
한국 스타트업 DeepX가 삼성의 LPDDR5x-PIM 기술을 적용한 2세대 AI 가속기 DX-M2를 테이프아웃했다. 이 칩은 5W 미만의 전력으로 최대 1000억 파라미터 모델을 추론할 수 있어 로봇, 드론 등 배터리 기반 엣지 기기에서 생성형 AI를 구현할 수 있다. 메모리 대역폭은 3배로 늘었고, PIM을 활용하면 Llama3.1-8B 기준 초당 토큰 수가 6.7배 향상된다. 2027년 샘플 출하를 목표로 한다.
5W 전력으로 어디든 갈 수 있습니다. 드론이든 배터리로 작동하는 다른 기기든 말이죠. 우리의 목표는 모든 기기에 정교한 AI를 배포할 수 있게 하는 것입니다.
HN 토론
22- augment_me
기사에서 눈에 띄는 점들:
1) 성능 수치는 시뮬레이션된 것이다
2) 세부 내용을 보면 성능 수치가 전체 전력의 2.7배, 즉 약 13.5W를 요구한다고 한다. 모든 메모리에 필요한 전력은 수치에 명시되어 있지 않다.
3) 컴파일러 또한 시뮬레이션되었고 프로토타입이므로 Nvidia ISAAC 같은 것의 즉시 대체품이 아니다.
4) 5W는 40억 개 미만 모델을 가리키는 것으로 보이므로, 1000억 파라미터 모델은 아니다.
- LaurensBER
요즘 매주 AI를 사내에서 돌리는 것에 대한 질문을 받는다. 유럽에서는 미국과 중국 모두에 대한 신뢰가 사상 최저로 떨어진 것 같고 AI는 이미 많은 사람에게 두려운 존재다.
로컬 우선이 우리가 향하는 미래라는 데는 의심의 여지가 없다. 더 효율적인 모델을 향한 "알고리즘적 진보"와 (NPU, 이 칩 등) 일부 하드웨어가 나오고 있는 것을 보고 있다.
현재로서는 제약이 조금 너무 많고 인터넷이 보편적으로 사용 가능하기 때문에 매력적인 제안으로 보이지 않지만, DeepSeek 4.1 Flash급 모델을 저렴하게 로컬에서 돌릴 수 있다면 고민할 필요가 없어진다.
- PaulKeeble
80 TOP/s와 150GB/s 메모리는 이 제품의 성능 위치를 가늠할 기본 정보를 제공하지만, TOP/s가 INT4인지 FP16인지 등이 명시되지 않아 prefill 성능이 상당히 달라진다.
소비자용 그래픽 카드(예: 9070 XT)는 INT4에서 약 750 TOP/s(FP16에서 20TOP/s)와 650 GB/s 정도다. 따라서 prefill 성능은 아마 10분의 1 수준일 것이고, FP16이고 메모리 대역폭 때문에 토큰당 15GB 이상을 처리할 수 없다면 3분의 1 수준일 수도 있다(Q4에서 활성 파라미터 약 70억 개). 디코드에서 10 token/s를 달성하려면 Q4에서 활성 파라미터가 최대 25억 개여야 30 token/s를 얻을 수 있다. 이 칩에서 전체 FP16 모델은 우리가 생각하는 것보다 훨씬 크지 않은 이상 매우 어려워 보인다.
내 생각에 이것은 괜찮은 가정용 AI에 거의 충분한 수준이다. 조금 느리고 MOE에만 유용하겠지만(즉 qwen 27B는 안 됨), 가격에 따라 많은 사람이 관심을 가질 수 있다. 100B 및 2-7B 활성 파라미터를 목표로 하는 일부 flash 모델들은 상대적으로 낮은 전력 소비 유닛에서 상당한 가정용 역량을 제공할 수 있기 때문이다.