Dos estaciones DGX de NVIDIA sirven GLM-5.3 a 607,8 tokens por segundo

Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

Dos estaciones DGX de NVIDIA sirven GLM-5.3 a 607,8 tokens por segundo

GLM-5.3 NVFP4, el modelo de mezcla de expertos de Z.ai con 753.000 millones de parámetros, no cabe en una sola GPU: su checkpoint de unos 464 GB supera los 252 GB de HBM3e de un GB300. NVIDIA muestra cómo repartirlo entre dos DGX Stations conectadas por ConnectX-8 RDMA con vLLM y paralelismo tensorial, manteniendo los pesos en memoria de GPU y exponiendo un único endpoint compatible con OpenAI.

En este punto, un modelo abarca dos máquinas. Ninguna GPU guarda una copia completa, y ninguna puede responder una petición por sí sola: cada token necesita que ambos rangos intercambien resultados parciales por el enlace RoCE.
  1. hkalbasi

    Suponiendo que la DGX cuesta $100K, y GLM-5.3 a $1.4/M de token de salida, esto tiene un ROI de ~7 años a máxima utilización (poco probable) e ignorando gastos operativos como la electricidad. Lo que lo hace económicamente irrazonable a menos que quieras privacidad o algo así.

  2. jbellis

    ¿Esto no parece tan impresionante para $200k de hardware? Podrías servir 4bit en 8xB6000 por aproximadamente la mitad del precio. No tengo idea de qué rendimiento obtendrías, así que quizás eso sea la flexión.

    Edición: Este tipo ya lo hizo, y obtienes un 60% más de rendimiento en el 8xB6000 https://github.com/kacper-daftcode/GLM5.3-8xPRO6K

  3. k0morebi

    ¿Es correcta mi intuición de que los tok/s del titular son para un solo usuario?

    Múltiples usuarios concurrentes hacen que esos tok/s/usuario sean en el mejor de los casos, con probablemente penalizaciones adicionales de apilamiento con cada usuario. Veo gente diciendo que esto no es necesario para empresas de menos de 100 empleados, pero ¿cómo funciona eso si tienes 100 usuarios?

  4. arjie

    Tengo curiosidad por el caso de >2. ¿Obtienes un switch Quantum X800? ¿O simplemente un switch Ethernet rápido? Estos son bastante geniales por la cantidad de VRAM que tienen (aunque encuentro el marketing de "RAM unificada" innecesariamente confuso), pero los evité porque no estaba seguro de poder conectarlos en red. Un nodo B300 cuesta $500k, pero creo que ahora haría MI355X a ese tamaño porque los nuevos Claudes podrán portarse fácilmente.

    La ventaja de la estación es la mejora gradual. Aunque, para ser honesto, me pregunto si debería conformarme con poner algunos H100 NVL normales más y probar RoCE. El post al menos inspira ideas, si no otra cosa.

  5. AnotherGoodName

    Para cualquiera que realmente esté considerando esta configuración de $200k+ para uso doméstico o incluso para pequeñas empresas, el consumo de energía y el ruido son extremos. 1.6kw cada una con los ventiladores a juego. 600 tokens/s con concurrencia 16 tampoco es lo que necesitas para uso doméstico o incluso para una empresa de menos de 100 empleados. Realmente reconsideren, por favor (¿de verdad necesitas que la gente te diga esto?). Entiendo que los salarios tecnológicos son altos y probablemente puedas permitírtelo, pero en serio.

    Ahora mismo no hay una gran solución para los modelos de frontera o casi frontera para uso doméstico. Pero hay tarjetas y opciones que llegarán en 2027. Por ahora, acepta que ejecutas qwen 37b o similar.

    ¿Qué llega en 2027 que cambia esto y por qué te imploro que esperes? Bueno, para estos modelos necesitas cantidades masivas de memoria y ancho de banda de memoria. La solución anterior logra esto usando HBM costosa repartida entre suficientes tarjetas con suficiente cómputo para dar un tok/s ridículo. Para uso doméstico, en realidad serías más feliz con una sola GPU que tuviera mucha memoria barata para mantener los pesos y solo suficiente ancho de banda de memoria para alimentar esa única GPU y nada más. En teoría, esto te acerca a 50 tok/s en GLM 5.3 si existiera.

    En 2027 se espera que lleguen múltiples opciones de HBF (flash de alto ancho de banda). El flash de alto ancho de banda tiene ~10x la latencia de la HBM, pero eso en realidad no importa mucho para la inferencia. La inferencia es tolerante a la latencia y el tiempo hasta el primer token en inferencia local supera al tiempo hasta el primer token por internet sin importar lo que hagas en cualquier caso. El ancho de banda y la cantidad de memoria […]

Más de este día

2026-11-14