La fibra dura décadas, las GPUs tres años: el auge de la IA no es el del dot-com
Fiber lasts decades, GPUs last three years: the AI boom isn't the dot-com boom [video]
El vídeo sostiene que la infraestructura de la burbuja puntocom dejó activos de larga vida, como la fibra óptica, mientras que el auge actual de la IA se apoya en GPUs que quedan obsoletas en pocos años. En la discusión de Hacker News se debate si el gasto de los hyperscalers puede amortizarse: los modelos pequeños mejoran y abaratan la inferencia, pero los márgenes de Nvidia y Micron se quedan con buena parte del dinero.
Si los modelos son baratos de ejecutar, aunque sea bueno para los clientes, ¿no es un problema para los hyperscalers y toda la inversión volcada en la construcción de centros de datos de IA?
- ndom91
Autopromoción descarada: recientemente armé un proyecto/página de visualización de datos financieros sobre la infraestructura de IA. Incluye gráficos y hace seguimiento de actualizaciones a cosas como los calendarios de depreciación de GPUs, así.
- paxy
- Las GPUs duran mucho más de 3 años.
- Las fábricas no dejan de funcionar después de 3 años. Pueden seguir fabricando GPUs.
- El auge de la IA no se trata solo de GPUs. Ha habido inversiones masivas en CPUs, RAM, componentes de red y enrutamiento, centros de datos físicos, plantas de energía, refrigeración e incluso fibra (eso que tú mismo afirmas que dura décadas). Nada de esto va a desaparecer en un par de años.
- whynotminot
Recomiendo mirar cualquier dato sobre los alquileres de A100 (GPU de hace 6 años) y luego ahorrarte 50 minutos de tu tiempo.
- cmiles8
Hay un uso para las GPUs más antiguas, pero los chips sí tienen problemas de fiabilidad. Resulta que hacer funcionar los chips a tope 24/7 hace que se quemen. Así que la cuestión no es tanto si serán "útiles" dentro de un tiempo, sino más bien si seguirán funcionando.
La gente se inclina a pensar que son como esas bombillas LED que dicen durar 15 años pero que a los 2 años empiezan a fallar a un ritmo alto.
Aparte, el punto más amplio sigue siendo correcto en cuanto a dirección. Todavía hoy seguimos usando fibra de la implosión de la infraestructura de red del .com y lo haremos durante mucho tiempo. El ciclo de depreciación es increíblemente largo. Los crecientes informes de GPUs acumulando polvo en estanterías porque no hay centros de datos para darles energía son muy preocupantes, considerando toda la deuda con altos intereses que se usa para comprar lo que en última instancia es un activo que se deprecia rápidamente. Financieramente, eso es un desastre esperando a ocurrir.
- deadlast2
Si usas opencode para tu trabajo de IA o se vuelve asequible. Hasta el punto de que razonablemente construirías aplicaciones con inteligencia de la versión LLM. Creo que en un futuro cercano la inteligencia será gratuita y no hay negocio en lo gratuito. Sé que es una afirmación grande, pero si miras alrededor ya hay una gran cantidad de modelos gratuitos de fuerza gradualmente creciente. Para la mayoría de las aplicaciones no necesitas un gpt6