AMD adquiere Taalas para grabar modelos de IA en silicio y acelerar la inferencia
AMD acquires Taalas to boost inference performance by etching models in silicon
AMD ha adquirido la startup de IA Taalas, que graba los pesos de los modelos directamente en el silicio para acelerar la inferencia hasta 48 veces respecto a las GPUs de Nvidia. El primer chip, HC1, alcanzó 16,960 tokens por segundo con Llama 3.1 8B. La tecnología, aunque rápida, fija el modelo en el chip, requiriendo un re-spin para cambios mayores. AMD planea integrarla en sus racks Helios, combinando GPUs Instinct para el procesamiento de prompts y aceleradores Taalas para la generación de tokens.
Una vez que los chips están desplegados, te quedas atrapado con ese modelo; cualquier cambio mayor que un adaptador LoRA requerirá un re-spin de los chips, lo cual no solo es costoso sino que consume tiempo.