El mismo H100 cuesta $2.69 o $12.29 por hora según dónde lo alquiles
The same H100 costs $2.69 or $12.29 an hour depending where you rent it
Un análisis compara los precios on-demand de la misma GPU H100 SXM 80GB en AWS, Azure y proveedores neocloud, normalizados a dólares por GPU-hora. La diferencia es de 4.57 veces: desde $2.69/hora en RunPod Community hasta $12.29/hora en Azure. El estudio agrupa deliberadamente por modelo y memoria para evitar comparaciones engañosas, y aclara que la brecha no es solo margen: los proveedores más caros incluyen InfiniBand, SLA de centro de datos y cumplimiento empresarial que los más baratos no ofrecen.
Un H100 funcionando de forma continua durante un mes cuesta $1,964 o $8,972 dependiendo únicamente de dónde lo alquiles.
- plantain
Estás completamente loco si estás ejecutando cualquier tipo de carga de trabajo valiosa en Runpod community o Vast. Los hosts están absolutamente fisgoneando dentro de las VM (puedes verlo discutido abiertamente en sus Discords).
- noodlesUK
Una cosa que no veo mencionada con frecuencia es que es realmente difícil conseguir las GPUs que los hyperscalers anuncian dependiendo de tu región, uso de créditos en la nube, etc.
En Azure, si tienes créditos (incluso cientos de miles de USD en créditos a través de programas como MSFT for startups), simplemente no puedes obtener ninguna cuota de GPU en ninguna región, incluso si suplicas y ruegas a los representantes de soporte. Incluso si tienes efectivo, a menudo es difícil conseguir cualquiera de las tarjetas más baratas. Puedes olvidarte de las instancias spot, etc., porque las regiones están esencialmente al 100% de capacidad.
He oído que en otros hyperscalers también es un desafío.
Esto es súper desalentador para cualquier cosa que no sea inferencia/entrenamiento de GenAI, porque si tienes alguna carga de trabajo más tradicional que requiera GPUs (ML tradicional, otros tipos de modelado), estás jodido.
- itkovian_
Una cosa interesante que está pasando es el fraude de dispositivos en los mercados de terceros, es decir, cambiar la velocidad del reloj, dividir los dispositivos y alquilar el mismo al mismo tiempo y esperar que los arrendatarios no se den cuenta, todo lo que puedas imaginar alguien lo está intentando.
También hay muchas dinámicas interesantes en los mercados preventivos (spot). Si eres inteligente, diría que hay una ventaja de costos de más de 10x disponible sobre el precio OD de los hyperscalers básicamente sin desventajas. Todo es fácil con agentes ahora también, así que probablemente pronto se eliminará por competencia (ya ves esto con las tarifas spot aumentando significativamente en los últimos 3 meses y convergiendo a justo por debajo de los precios OD).
- buredoranna
Hay un par de índices nuevos por ahí.
[1] "Silicon Index". Construido a partir de observaciones de precios, incluidos precios de lista y datos de transacciones.
[2] "Ornn Compute Price Index (OCPI)". Afirma usar solo transacciones ejecutadas.
Tu experiencia puede variar, pero encuentro estos nuevos índices bastante convincentes.
[1] https://www.silicondata.com/products/silicon-index
Y sí, no se trata solo de cuánto cuestan estos recursos, sino de cuánto está dispuesta a pagar la gente por ellos.
(edición: formato)
- uneekname
> 4.57× entre el más barato y el más caro, para el mismo chip
> Lo que el 4.57× no es
> - InfiniBand
> - Un SLA de centro de datos
> - Cumplimiento empresarial, capacidad comprometida...
ok