1基のGPUでは収まらない:2台のNVIDIA DGX StationでGLM-5.3を毎秒607.8トークンで動かす
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

7530億パラメータのGLM-5.3 NVFP4は約464GBあり、GB300 GPUのHBM3e 252GBには収まらない。そこで2台のDGX StationをConnectX-8 RDMAで接続し、テンソル並列(TP=2)で重みと計算を分割。vLLMで単一のOpenAI互換エンドポイントとして提供し、CPUオフロードなしでGPUメモリに収める手順を、環境構築から起動、負荷時の計測まで解説する。
この時点で1つのモデルが2台のマシンにまたがっている。どちらのGPUも完全なコピーを保持しておらず、単独ではリクエストに応答できない。すべてのトークンは、両方のrankがRoCEレール上で部分的な結果を交換する必要がある。
HNでの議論
69- hkalbasi
DGXが10万ドルで、GLM-5.3の出力トークンが100万あたり1.4ドルだと仮定すると、最大稼働率(現実的ではない)で電気代などの運用費を無視してもROIは約7年になる。プライバシーとかそういうのが必要でない限り、経済的に不合理だ。
- jbellis
20万ドルのハードウェアにしてはそれほど凄くない気がする? 8xB6000で4bitを半分ほどの価格で提供できる。スループットがどれくらい出るかは分からないけど、それが自慢なのかもね。
編集:この人がすでにやっていて、8xB6000で60%多いスループットが得られる https://github.com/kacper-daftcode/GLM5.3-8xPRO6K
- k0morebi
見出しのtok/sはシングルユーザー向けという直感は正しい?
複数の同時ユーザーがいると、そのtok/s/userはせいぜい最高で、おそらくユーザーごとに追加のスタッキングペナルティがある? 従業員100人未満の企業には不要だと言う人を見かけるけど、100ユーザーいたらどうなるの?
- arjie
2台以上のケースが気になる。Quantum X800スイッチを買うのか? それともただの高速イーサネットスイッチ? これらはVRAMの量が多いのでかなりクールだけど(「ユニファイドRAM」のマーケティングは不必要に紛らわしいと思う)、ネットワーク接続できるか確信が持てなかったので避けていた。B300ノードは50万ドルだけど、そのサイズなら今はMI355Xにすると思う。新しいClaudeなら簡単に移植できるからね。
ステーションの利点は段階的な改善だ。とはいえ、正直もっと普通のH100 NVLをいくつか追加してRoCEを試すだけでいいのかもしれないとも思う。この投稿は少なくともアイデアのきっかけにはなる。
- AnotherGoodName
自宅や小規模ビジネスでこの20万ドル以上の構成を実際に検討している人向けに言うと、消費電力と騒音は極端だ。それぞれ1.6kWで、それに見合うファンもある。同時接続16で600トークン/秒は、自宅用にも従業員100人未満のビジネス用にも必要なものではない。本当に再考してほしい(本気で誰かに言われないと分からないのか?)。技術職の給料が高くて多分買えるのは分かるけど、真剣に。
現時点で、フロンティアまたは準フロンティアモデルを自宅で使うための優れたソリューションはない。でも2027年にはカードや選択肢が出てくる。今はqwen 37bか同様のものを動かすと受け入れるしかない。
2027年に何が変わって、なぜ待つことを強く勧めるのか? これらのモデルには大量のメモリとメモリ帯域幅が必要だ。上記のソリューションは、十分な計算能力を持つカードに高価なHBMを分散させて、馬鹿げたtok/sを実現している。自宅用なら、重みを保持するための安価なメモリを大量に積み、その単一GPUに供給するだけのメモリ帯域幅を持つ単一GPUの方が実際に幸せになれる。理論上、これが存在すればGLM 5.3で50tok/s近くまで行く。
2027年には複数のHBF(高帯域幅フラッシュ)オプションが出てくる見込みだ。高帯域幅フラッシュはHBMの約10倍のレイテンシだが、推論にはあまり関係ない。推論はレイテンシに寛容で、ローカル推論の最初のトークンまでの時間は、何をしてもインターネット経由の最初のトークンまでの時間に勝る。帯域幅とメモリ量は[…]