DeepX logra ejecutar modelos de hasta 100.000 millones de parámetros con menos de 5 W
DeepX claims inference up to 100B parameters at less than 5 W
DeepX ha tapeado su segundo acelerador de IA, el DX-M2, que permite inferencia local de modelos de hasta 100.000 millones de parámetros consumiendo menos de 5 W. Gracias a la tecnología PIM de Samsung y a un nodo de 2 nm, alcanza 80 TOPS y triplica el ancho de banda de memoria. La compañía prevé que la inferencia en el borde reduzca drásticamente el tráfico hacia los centros de datos.
Si desplegamos modelos de hasta 100.000 millones de parámetros en los dispositivos, podemos reducir el tráfico de los centros de datos de IA en más del 80 %.
- augment_me
Rarezas del artículo:
1) Las cifras de rendimiento son simuladas
2) Los detalles dicen que las cifras de rendimiento requieren 2,7 veces la potencia total, así que alrededor de 13,5 W. La potencia necesaria para toda la memoria no está explícita en las cifras.
3) El compilador también es simulado y es un prototipo, así que no es un reemplazo directo para nada como Nvidia ISAAC
4) Los 5 W parecen referirse a modelos de menos de 4B, así que no a los de 100B parámetros.
- LaurensBER
Ahora mismo me llegan preguntas cada semana sobre ejecutar IA en local, en Europa la confianza tanto en EE. UU. como en China parece haber tocado mínimos históricos y la IA ya da miedo a mucha gente.
No tengo ninguna duda de que lo local primero es el futuro hacia el que nos dirigimos. Estamos viendo "progreso algorítmico" hacia modelos más eficientes y _algo_ de hardware disponible (NPUs, este chip, etc).
Por el momento no parece una oferta atractiva ya que está un poco demasiado limitada y como internet está disponible universalmente, pero si podemos ejecutar un modelo de la clase DeepSeek 4.1 Flash de forma barata y local, se convierte en una obviedad.
- PaulKeeble
80 TOP/s y 150 GB/s de memoria nos dan los fundamentos de dónde se sitúa esto en rendimiento, aunque no se dice si los TOP/s son para INT4 o FP16 o qué, lo que cambia considerablemente el rendimiento de prefill.
Una tarjeta gráfica de consumo (digamos una 9070 XT) estará más bien en unos 750 TOP/s en INT4 (20 TOP/s en FP16) y 650 GB/s. Así que probablemente sea alrededor de una décima parte del rendimiento para prefill, pero quizá solo un tercio si es FP16 y no puede manejar más de 15 GB por token debido a su ancho de banda de memoria (en Q4 eso serían ~7B parámetros activos) para decode y alcanzar 10 token/s, y para lograr sus 30 token/s sería como máximo 2,5B parámetros activos en Q4. Un modelo completo en FP16 en esto parece muy improbable a menos que sea mucho más grande de lo que pensamos.
Esto creo que es justo lo suficiente para una IA doméstica decente, es un poco lento y solo será útil para MOE (así que nada de qwen 27B), pero dependiendo del precio puedo ver que interese a mucha gente, ya que algunos modelos flash apuntando a 100B y 2-7B parámetros activos podrían ser bastante capacidad local en una unidad de consumo energético relativamente bajo.