GPU 한 장으로는 안 된다: 두 대의 DGX Station으로 GLM-5.3을 607.8 tok/s로 서빙하기
Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

7530억 파라미터 MoE 모델 GLM-5.3 NVFP4의 체크포인트는 약 464GB로, 단일 GB300 GPU의 HBM3e 252GB를 넘어선다. NVIDIA는 두 대의 DGX Station을 ConnectX-8 RDMA로 연결하고 vLLM에서 텐서 병렬화(TP=2)를 적용해 하나의 OpenAI 호환 엔드포인트로 서빙하는 방법을 단계별로 설명한다. 체크포인트 복사, 분산 실행 스크립트, MTP 추측 디코딩과 FP8 KV 캐시 설정, 동시 부하 측정까지 다룬다.
이 시점에서 하나의 모델이 두 대의 머신에 걸쳐 있다. 어느 GPU도 완전한 사본을 갖고 있지 않으며, 어느 쪽도 혼자서 요청에 답할 수 없다. 모든 토큰은 두 랭크가 RoCE 레일을 통해 부분 결과를 교환해야 한다.
HN 토론
69- hkalbasi
DGX 가격이 10만 달러이고 GLM-5.3 출력 토큰이 100만 개당 1.4달러라고 가정하면, 최대 가동률(가능성 낮음)에서 ROI는 약 7년이고 전력 같은 운영 비용은 무시한 수치다. 따라서 프라이버시 같은 걸 원하지 않는 한 경제적으로 합리적이지 않다.
- jbellis
20만 달러 하드웨어 치고 그렇게 인상적이진 않은 것 같은데? 8xB6000에서 4비트로 서빙하면 가격은 절반 정도일 거다. 처리량이 얼마나 나올지는 모르겠지만 아마 그게 자랑거리인 듯.
수정: 이 사람이 이미 해봤고, 8xB6000에서 처리량이 60% 더 나온다 https://github.com/kacper-daftcode/GLM5.3-8xPRO6K
- k0morebi
헤드라인에 나온 tok/s가 단일 사용자 기준이라는 게 내 직감이 맞나? 동시 사용자가 여러 명이면 그 tok/s/user는 최상의 경우이고 아마 사용자마다 추가적인 스테이킹 페널티가 있을 텐데? 직원 100명 미만 기업에는 필요 없다는 말을 봤는데, 사용자가 100명이면 어떻게 되는 거지?
- arjie
2대 초과인 경우가 궁금하다. Quantum X800 스위치를 쓰나? 아니면 그냥 빠른 이더넷 스위치? VRAM이 많아서 꽤 멋지긴 한데('통합 RAM' 마케팅은 불필요하게 혼란스럽다고 생각한다) 네트워킹이 가능할지 확신이 없어서 피했다. B300 노드는 50만 달러인데 그 규모라면 지금은 MI355X를 할 것 같다. 새 Claude들이 쉽게 포팅될 테니까.
스테이션의 장점은 점진적 개선이다. 솔직히 H100 NVL을 몇 장 더 넣고 RoCE를 시도하는 걸로 만족해야 하나 싶기도 하다. 그래도 이 글은 아이디어를 얻는 데 도움이 된다.
- AnotherGoodName
집이나 소규모 사업장에서 이 20만 달러 이상의 셋업을 실제로 고려하는 사람이 있다면, 전력 사용량과 소음이 극심하다. 각각 1.6kW에 그에 맞는 팬까지. 동시성 16에서 600 tokens/s는 집이나 직원 100명 미만 사업장에 필요한 게 아니다. 정말 재고해 보길 바란다(이런 말을 해줄 사람이 정말 필요한가?). 기술직 연봉이 높고 아마 감당할 수 있다는 건 알지만 진심이다.
현재 집에서 프론티어나 준프론티어 모델을 쓰는 좋은 해법은 없다. 하지만 2027년에 나올 카드와 옵션들이 있다. 지금은 qwen 37b 같은 걸 돌린다고 받아들여라.
2027년에 뭐가 바뀌길래 기다리라고 하는가? 이런 모델에는 막대한 메모리와 메모리 대역폭이 필요하다. 위 해법은 값비싼 HBM을 충분한 카드에 분산하고 충분한 연산을 붙여 터무니없는 tok/s를 얻는다. 집에서 쓴다면 오히려 가중치를 담을 값싼 메모리가 많고 그 단일 GPU에 먹일 만큼만 메모리 대역폭이 있는 GPU 하나가 더 행복할 것이다. 이론상 GLM 5.3에서 50tok/s에 가까워진다.
2027년에는 여러 HBF(고대역폭 플래시) 옵션이 나올 것으로 예상된다. 고대역폭 플래시는 HBM보다 지연 시간이 약 10배지만 추론에는 별로 상관없다. 추론은 지연에 관대하고, 어차피 로컬 추론의 첫 토큰 시간은 인터넷을 거치는 첫 토큰 시간을 이긴다. 대역폭과 메모리 양은 […]