Qualcomm, 150W로 128GB 메모리와 548GB/s 대역폭 갖춘 AI 추론 카드 공개
Qualcomm Cloud AI 100 Ultra – 150W AI Accelerator Card with 128GB at 548GB/s
Qualcomm이 생성형 AI와 LLM 추론을 겨냥한 Cloud AI 100 Ultra를 공개했다. 150W TDP에 128GB LPDDR4x 메모리, 548GB/s 대역폭, 카드당 64개 AI 코어와 최대 576MB 온다이 SRAM을 갖췄으며 INT8 기준 최대 870 TOPS를 낸다. 함께 제공되는 AI Inference Suite는 OpenAI 호환 API, RAG, 멀티모달 기능을 지원하고 Kubernetes나 베어메탈 컨테이너로 배포된다.
Qualcomm Cloud AI 100 Ultra는 성능과 비용에 최적화된 AI 추론 솔루션으로, 생성형 AI와 대규모 언어 모델(LLM)을 위해 설계되었습니다.