Qualcomm mete 128 GB de memoria en una tarjeta de inferencia AI de solo 150 W
Qualcomm Cloud AI 100 Ultra – 150W AI Accelerator Card with 128GB at 548GB/s
El Cloud AI 100 Ultra de Qualcomm es una tarjeta PCIe para inferencia de IA en centros de datos, pensada para modelos generativos y LLMs. Ofrece hasta 870 TOPS en INT8 y 288 TFLOPS en FP16 con 64 núcleos de IA, 576 MB de SRAM y 128 GB de memoria LPDDR4x a 548 GB/s, todo dentro de un TDP de 150 W. Se acompaña del Qualcomm AI Inference Suite, con APIs compatibles con OpenAI, RAG y despliegue en Kubernetes.
Con hasta 576 MB de SRAM en el chip y 64 núcleos de IA por tarjeta, las soluciones Qualcomm Cloud AI abordan los requisitos únicos para escalar cargas de trabajo de IA clásica y generativa.