8x RTX PRO 6000: как выжать максимум без NVLink
A practical guide to running 8x RTX PRO 6000's
Практическое руководство по эксплуатации сервера с восемью NVIDIA RTX PRO 6000 Blackwell (96 ГБ GDDR7 каждая) и AMD EPYC 9555. Авторы объясняют, почему разбиение гигантских моделей вроде Llama-3.1 405B через PCIe неэффективно, и предлагают вместо этого делать ставку на высокий параллелизм: изолированный инференс с TP=1, многоарендные флоты микросервисов, а также дообучение 70B-моделей на одном узле с оффлоадом оптимизатора в оперативную память. Приводятся конкретные цифры пропускной способности, задержек и конфигураций.
Вместо того чтобы насиловать глубокий параллелизм моделей через PCIe, гораздо разумнее исследовать, какие рабочие нагрузки мы можем обрабатывать за долю цены HGX B200/B300, не жертвуя слишком большой производительностью.