NVIDIA verteilt GLM-5.3 mit 753 Milliarden Parametern auf zwei DGX Stations
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

GLM-5.3 NVFP4 hat 753 Milliarden Parameter, von denen pro Token 40 Milliarden aktiv sind – doch der Checkpoint mit rund 464 GB sprengt die 252 GB HBM3e einer einzelnen GB300 GPU. NVIDIA zeigt in einem Tutorial, wie zwei DGX Stations über ConnectX-8 RDMA per Tensor-Parallelismus (TP=2) ein Modell mit einem einzigen OpenAI-kompatiblen Endpoint bedienen, ohne CPU-Offload und mit 607,8 Token pro Sekunde unter Last.
An diesem Punkt erstreckt sich ein Modell über zwei Maschinen. Keine der beiden GPUs hält eine vollständige Kopie, und keine kann allein eine Anfrage beantworten: Jedes Token erfordert, dass beide Ranks über die RoCE-Verbindung Teilergebnisse austauschen.
- hkalbasi
Angenommen, die DGX kostet 100.000 $ und GLM-5.3 liegt bei 1,4 $/Mio. Output-Token, dann hat das einen ROI von ~7 Jahren bei maximaler Auslastung (unwahrscheinlich) und unter Vernachlässigung der Betriebskosten wie Strom. Das macht es wirtschaftlich unvernünftig, es sei denn, man will Privatsphäre oder so etwas.
- jbellis
Das scheint für 200.000 $ Hardware nicht gerade beeindruckend zu sein? Man könnte 4bit auf 8xB6000 für etwa die Hälfte des Preises servieren. Keine Ahnung, welchen Durchsatz man bekommen würde, aber vielleicht ist das der Flex.
Edit: Dieser Typ hat es bereits gemacht, und man bekommt 60 % mehr Durchsatz auf den 8xB6000 https://github.com/kacper-daftcode/GLM5.3-8xPRO6K
- k0morebi
Ist meine Intuition richtig, dass die tok/s in der Überschrift für einen einzelnen Nutzer gelten?
Mehrere gleichzeitige Nutzer machen das bestenfalls zu tok/s/Nutzer, wahrscheinlich mit zusätzlichen Staking-Strafen pro Nutzer? Ich sehe Leute sagen, dass das für Unternehmen mit weniger als 100 Mitarbeitern nicht nötig ist, aber wie sieht das aus, wenn man 100 Nutzer hat?
- arjie
Neugierig auf den Fall >2. Bekommt man einen Quantum X800 Switch? Oder einfach einen schnellen Ethernet-Switch? Die sind ziemlich cool wegen der Menge an VRAM (obwohl ich das „unified RAM“-Marketing unnötig verwirrend finde), aber ich habe sie gemieden, weil ich mir nicht sicher war, ob ich sie vernetzen kann. Ein B300-Knoten kostet 500.000 $, aber ich glaube, ich würde bei dieser Größe jetzt MI355X nehmen, weil neue Claudes leicht portierbar sein werden.
Der Vorteil der Station ist die schrittweise Verbesserung. Obwohl ich mich ehrlich gesagt frage, ob ich mich nicht einfach damit zufriedengeben sollte, ein paar mehr normale H100 NVL einzubauen und RoCE zu versuchen. Der Beitrag regt zumindest zu Ideen an, wenn sonst nichts.
- AnotherGoodName
Für alle, die tatsächlich dieses 200.000+ $-Setup für den Heimgebrauch oder sogar kleine Unternehmen in Betracht ziehen: Der Stromverbrauch und der Lärm sind extrem. 1,6 kW jeweils mit passenden Lüftern. 600 Tokens/s bei Parallelität 16 ist nicht das, was man für den Heimgebrauch oder sogar für Unternehmen mit weniger als 100 Mitarbeitern braucht. Bitte wirklich nochmal überdenken (müsst ihr euch das ernsthaft von jemandem sagen lassen?). Ich weiß, die Tech-Gehälter sind hoch und man kann sich das wahrscheinlich leisten, aber im Ernst.
Im Moment gibt es keine großartige Lösung für Frontier- oder Near-Frontier-Modelle für den Heimgebrauch. Aber 2027 kommen Karten und Optionen. Für jetzt akzeptiert einfach, dass ihr qwen 37b oder ähnliches laufen lasst.
Was kommt 2027, das das ändert, und warum ich euch eindringlich bitte zu warten? Nun, für diese Modelle braucht man riesige Mengen an Speicher und Speicherbandbreite. Die obige Lösung erreicht das durch teuren HBM, verteilt über genügend Karten mit genügend Rechenleistung für einen lächerlichen tok/s-Wert. Für den Heimgebrauch wäre man tatsächlich glücklicher mit einer einzigen GPU, die viel billigen Speicher für die Gewichte und gerade genug Speicherbandbreite hätte, um diese eine GPU zu versorgen, und nicht mehr. Das bringt einen theoretisch nahe an 50 tok/s bei GLM 5.3, wenn es das gäbe.
2027 werden voraussichtlich mehrere HBF-Optionen (High Bandwidth Flash) auf den Markt kommen. High Bandwidth Flash hat etwa die 10-fache Latenz von HBM, aber das macht für die Inferenz eigentlich nicht viel aus. Inferenz ist latenz tolerant, und die lokale Inferenzzeit bis zum ersten Token schlägt die Internetzeit bis zum ersten Token sowieso, egal was man macht. Die Bandbreite und Menge des Speichers […]