Qualcomm packt 128 GB Speicher in eine 150-Watt-Karte für KI-Inferenz
Qualcomm Cloud AI 100 Ultra – 150W AI Accelerator Card with 128GB at 548GB/s
Der Cloud AI 100 Ultra ist Qualcomms neueste PCIe-Karte für KI-Inferenz und richtet sich an Generative AI und LLMs. Sie bietet 128 GB LPDDR4x mit 548 GB/s Bandbreite, 576 MB On-Die-SRAM, 64 AI-Cores und bis zu 870 TOPS (INT8) bei nur 150 Watt TDP. Dazu kommt die AI Inference Suite mit OpenAI-kompatiblen APIs, RAG-Unterstützung und Kubernetes-Deployment.
Mit bis zu 576 MB On-Die-SRAM und 64 AI-Cores pro Karte – und Programmierbarkeit für ein breites Spektrum an Workloads und Beschleunigungstechniken – adressieren die Cloud AI 100 Lösungen von Qualcomm die besonderen Anforderungen beim Skalieren klassischer und generativer KI-Workloads.