GPU 한 장으로는 안 된다: 두 대의 DGX Station으로 GLM-5.3을 607.8 tok/s로 서빙하기

Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

GPU 한 장으로는 안 된다: 두 대의 DGX Station으로 GLM-5.3을 607.8 tok/s로 서빙하기

7530억 파라미터 MoE 모델 GLM-5.3 NVFP4의 체크포인트는 약 464GB로, 단일 GB300 GPU의 HBM3e 252GB를 넘어선다. NVIDIA는 두 대의 DGX Station을 ConnectX-8 RDMA로 연결하고 vLLM에서 텐서 병렬화(TP=2)를 적용해 하나의 OpenAI 호환 엔드포인트로 서빙하는 방법을 단계별로 설명한다. 체크포인트 복사, 분산 실행 스크립트, MTP 추측 디코딩과 FP8 KV 캐시 설정, 동시 부하 측정까지 다룬다.

이 시점에서 하나의 모델이 두 대의 머신에 걸쳐 있다. 어느 GPU도 완전한 사본을 갖고 있지 않으며, 어느 쪽도 혼자서 요청에 답할 수 없다. 모든 토큰은 두 랭크가 RoCE 레일을 통해 부분 결과를 교환해야 한다.
  1. hkalbasi

    DGX 가격이 10만 달러이고 GLM-5.3 출력 토큰이 100만 개당 1.4달러라고 가정하면, 최대 가동률(가능성 낮음)에서 ROI는 약 7년이고 전력 같은 운영 비용은 무시한 수치다. 따라서 프라이버시 같은 걸 원하지 않는 한 경제적으로 합리적이지 않다.

  2. jbellis

    20만 달러 하드웨어 치고 그렇게 인상적이진 않은 것 같은데? 8xB6000에서 4비트로 서빙하면 가격은 절반 정도일 거다. 처리량이 얼마나 나올지는 모르겠지만 아마 그게 자랑거리인 듯.

    수정: 이 사람이 이미 해봤고, 8xB6000에서 처리량이 60% 더 나온다 https://github.com/kacper-daftcode/GLM5.3-8xPRO6K

  3. k0morebi

    헤드라인에 나온 tok/s가 단일 사용자 기준이라는 게 내 직감이 맞나? 동시 사용자가 여러 명이면 그 tok/s/user는 최상의 경우이고 아마 사용자마다 추가적인 스테이킹 페널티가 있을 텐데? 직원 100명 미만 기업에는 필요 없다는 말을 봤는데, 사용자가 100명이면 어떻게 되는 거지?

  4. arjie

    2대 초과인 경우가 궁금하다. Quantum X800 스위치를 쓰나? 아니면 그냥 빠른 이더넷 스위치? VRAM이 많아서 꽤 멋지긴 한데('통합 RAM' 마케팅은 불필요하게 혼란스럽다고 생각한다) 네트워킹이 가능할지 확신이 없어서 피했다. B300 노드는 50만 달러인데 그 규모라면 지금은 MI355X를 할 것 같다. 새 Claude들이 쉽게 포팅될 테니까.

    스테이션의 장점은 점진적 개선이다. 솔직히 H100 NVL을 몇 장 더 넣고 RoCE를 시도하는 걸로 만족해야 하나 싶기도 하다. 그래도 이 글은 아이디어를 얻는 데 도움이 된다.

  5. AnotherGoodName

    집이나 소규모 사업장에서 이 20만 달러 이상의 셋업을 실제로 고려하는 사람이 있다면, 전력 사용량과 소음이 극심하다. 각각 1.6kW에 그에 맞는 팬까지. 동시성 16에서 600 tokens/s는 집이나 직원 100명 미만 사업장에 필요한 게 아니다. 정말 재고해 보길 바란다(이런 말을 해줄 사람이 정말 필요한가?). 기술직 연봉이 높고 아마 감당할 수 있다는 건 알지만 진심이다.

    현재 집에서 프론티어나 준프론티어 모델을 쓰는 좋은 해법은 없다. 하지만 2027년에 나올 카드와 옵션들이 있다. 지금은 qwen 37b 같은 걸 돌린다고 받아들여라.

    2027년에 뭐가 바뀌길래 기다리라고 하는가? 이런 모델에는 막대한 메모리와 메모리 대역폭이 필요하다. 위 해법은 값비싼 HBM을 충분한 카드에 분산하고 충분한 연산을 붙여 터무니없는 tok/s를 얻는다. 집에서 쓴다면 오히려 가중치를 담을 값싼 메모리가 많고 그 단일 GPU에 먹일 만큼만 메모리 대역폭이 있는 GPU 하나가 더 행복할 것이다. 이론상 GLM 5.3에서 50tok/s에 가까워진다.

    2027년에는 여러 HBF(고대역폭 플래시) 옵션이 나올 것으로 예상된다. 고대역폭 플래시는 HBM보다 지연 시간이 약 10배지만 추론에는 별로 상관없다. 추론은 지연에 관대하고, 어차피 로컬 추론의 첫 토큰 시간은 인터넷을 거치는 첫 토큰 시간을 이긴다. 대역폭과 메모리 양은 […]

이 날의 다른 글

2026-11-14