Qualcomm、150Wで128GBのAI推論カード「Cloud AI 100 Ultra」を投入
Qualcomm Cloud AI 100 Ultra – 150W AI Accelerator Card with 128GB at 548GB/s
QualcommのCloud AI 100 Ultraは、150WのPCIeカードに128GBのLPDDR4xと548GB/sのメモリ帯域を搭載し、INT8で最大870 TOPS、FP16で288 TFLOPSを実現する生成AI・LLM向け推論アクセラレータ。カードあたり64基のAIコアと576MBのオンダイSRAMを備え、OpenAI互換APIやRAG、マルチモーダル対応のAI Inference Suiteと組み合わせてKubernetesやベアメタル上で運用できる。
Qualcomm Cloud AI 100 Ultraは、当社のクラウドAI推論カード群の最新製品であり、生成AIと大規模言語モデル（LLM）向けに設計された、性能とコストを最適化したAI推論ソリューションです。