单卡不够用?双 DGX 部署 GLM-5.3
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

当单张 GB300 GPU 的显存无法容纳 7530 亿参数的 GLM-5.3 模型时,解决方案是跨越两台 NVIDIA DGX Station。本文演示了如何利用 ConnectX-8 RDMA 和 vLLM 的张量并行技术,将模型权重和计算负载均匀分配给两台机器,通过单一 API 端点提供服务。教程涵盖了从环境准备、模型检查点同步到分布式服务启动的全过程,展示了如何在本地实现前沿规模模型的推理,并测量其在并发负载下的表现。
当单张 GPU 不够用时,通过 RDMA 连接的两台 NVIDIA DGX Station 可以协同工作,利用张量并行技术将模型权重和计算任务拆分,通过单一端点服务一个模型。
HN 评论区
69- hkalbasi
假设 DGX 售价 10 万美元,GLM-5.3 的输出 token 成本为 1.4 美元/百万,那么在满负荷运行(不太可能)且忽略电力等运营成本的理想情况下,投资回报期(ROI)约为 7 年。除非你追求隐私或其他类似需求,否则这在经济上是不合理的。
- jbellis
花 20 万美元买硬件,这效果似乎也没那么惊艳?你完全可以用约一半的价格,用 8 张 B6000 跑 4bit 量化模型。不过我也不确定吞吐量能有多少,也许这才是秀肌肉的地方?
编辑:这位老哥已经试过了,8 张 B6000 的吞吐量反而多了 60%:https://github.com/kacper-daftcode/GLM5.3-8xPRO6K
- qingcharles
这方案只用了高速内存,却把每台系统上 500GB 的内存闲置了吗?
- arjie
挺好奇两台以上的情况。你是用了 Quantum X800 交换机,还是普通的快速以太网交换机?这些卡挺酷的,主要是显存(VRAM)巨大(虽然我觉得“统一内存”这个营销术语没必要搞得那么让人困惑),但我之前没买是因为不确定能不能把它们组网。一台 B300 节点要 50 万美元,但在这个规模下,我现在可能会选 MI355X,因为新的 Claude 模型应该能轻松迁移过来。
工作站的优势在于可以逐步升级。不过说实话,我在想是不是该直接凑几块普通的 H100 NVL,试试 RoCE 算了。这篇帖子至少能激发一些灵感,哪怕没别的。
- boodleboodle
用两张 DGX 跑什么模型最合适?他们选 GLM 而不是 DeepSeek 是有什么特殊原因吗?