Qualcomm выпустила 150-ваттный ускоритель инференса с 128 ГБ памяти
Qualcomm Cloud AI 100 Ultra – 150W AI Accelerator Card with 128GB at 548GB/s
Cloud AI 100 Ultra — новая карта Qualcomm для инференса генеративного AI и LLM. При TDP 150 Вт она выдаёт до 870 TOPS в INT8 и до 288 TFLOPS в FP16, несёт 128 ГБ LPDDR4x с пропускной способностью 548 ГБ/с и 576 МБ SRAM на кристалле, а также 64 AI-ядра. В комплекте идёт AI Inference Suite с OpenAI-совместимыми API, поддержкой RAG и развёртыванием в Kubernetes.
Cloud AI 100 Ultra — новейший представитель нашего портфеля карт облачного инференса AI — это оптимизированное по производительности и стоимости решение для инференса, созданное для генеративного AI и больших языковых моделей.