Две станции NVIDIA DGX выдают 607,8 токена в секунду на модели GLM-5.3

Serving GLM-5.3 at 607.8 tok/s across two Nvidia DGX stations with vLLM

Две станции NVIDIA DGX выдают 607,8 токена в секунду на модели GLM-5.3

Модель GLM-5.3 от Z.ai с 753 млрд параметров (40 млрд активируются на токен) весит около 464 ГБ и не помещается в 252 ГБ памяти одного GPU GB300. NVIDIA показывает, как две станции DGX, соединённые по ConnectX-8 RDMA, обслуживают её через vLLM с тензорным параллелизмом TP=2 и единым OpenAI-совместимым эндпоинтом. Пошагово: подготовка, копирование чекпоинта, запуск, проверка и замер под нагрузкой.

Каждый токен требует, чтобы оба ранга обменялись частичными результатами по линии RoCE.
  1. hkalbasi

    Если предположить, что DGX стоит $100K, а GLM-5.3 — $1,4 за миллион выходных токенов, то ROI составит ~7 лет при максимальной загрузке (что маловероятно) и без учёта операционных расходов, таких как электричество. Это делает решение экономически необоснованным, если только вам не нужна приватность или что-то в этом роде.

  2. jbellis

    Это не кажется таким уж впечатляющим для оборудования за $200k? Можно запустить 4bit на 8xB6000 примерно за половину цены. Правда, понятия не имею, какую пропускную способность вы получите, так что, может, в этом и есть понт.

    Edit: Этот парень уже сделал это, и вы получаете на 60% больше пропускной способности на 8xB6000 https://github.com/kacper-daftcode/GLM5.3-8xPRO6K

  3. k0morebi

    Правильно ли я понимаю, что заголовочные tok/s — это для одного пользователя?

    При нескольких одновременных пользователях это в лучшем случае tok/s на пользователя, и, вероятно, с дополнительными штрафами за совместное использование с каждым пользователем? Я вижу, люди говорят, что это не нужно для бизнеса с менее чем 100 сотрудниками, но как это работает, если у вас 100 пользователей?

  4. arjie

    Интересно, как обстоят дела с более чем 2 узлами. Вы используете коммутатор Quantum X800? Или просто быстрый Ethernet-коммутатор? Они довольно крутые из-за объёма VRAM (хотя маркетинг «унифицированной RAM» я нахожу излишне запутанным), но я их избегал, потому что не был уверен, что смогу объединить их в сеть. Узел B300 стоит $500k, но при таком размере я бы, пожалуй, выбрал MI355X, потому что новые Claude можно будет легко портировать.

    Преимущество станции — постепенное улучшение. Хотя, честно говоря, я задаюсь вопросом, не стоит ли просто поставить ещё несколько обычных H100 NVL и попробовать RoCE. Пост, по крайней мере, вдохновляет на идеи, если уж на то пошло.

  5. AnotherGoodName

    Для всех, кто всерьёз рассматривает эту сборку за $200k+ для дома или даже для малого бизнеса: энергопотребление и шум экстремальны. 1,6 кВт каждая, и вентиляторы соответствующие. 600 токенов/с при параллелизме 16 — это не то, что нужно для домашнего использования или даже для бизнеса с менее чем 100 сотрудниками. Пожалуйста, серьёзно подумайте ещё раз (вам правда нужно, чтобы люди вам это говорили?). Я понимаю, что зарплаты в IT высокие и вы, вероятно, можете себе это позволить, но серьёзно.

    Прямо сейчас нет отличного решения для фронтирных или почти фронтирных моделей для домашнего использования. Но в 2027 году появятся карты и варианты. Пока что просто примите, что вы запускаете qwen 37b или что-то подобное.

    Что изменится в 2027 году и почему я умоляю вас подождать? Для этих моделей нужно огромное количество памяти и пропускной способности памяти. Решение выше достигает этого за счёт использования дорогой HBM, распределённой по достаточному количеству карт с достаточной вычислительной мощностью, чтобы дать смехотворный tok/s. Для домашнего использования вы на самом деле будете счастливее с одной GPU, у которой много дешёвой памяти для хранения весов и ровно столько пропускной способности памяти, сколько нужно для питания этой единственной GPU, и не больше. Теоретически это даст вам близко к 50 tok/s на GLM 5.3, если бы такая существовала.

    В 2027 году ожидается несколько вариантов HBF (high bandwidth flash). У high bandwidth flash задержка примерно в 10 раз выше, чем у HBM, но для инференса это на самом деле не так важно. Инференс терпим к задержкам, и локальное время до первого токена в любом случае лучше, чем время до первого токена через интернет, что бы вы ни делали. Пропускная способность и объём памяти […]

Ещё за этот день

2026-11-14