Открытый проект собрал распиновку V100 SXM2 и планы подключения NVLink для двух и четырёх GPU
V100 SXM2 pinout and NVLink reference
Pigeon Labs Stack выложила справочный комплект для создания собственной платы-носителя под модули NVIDIA V100 SXM2. В него входят карты всех 800 контактов разъёмов A и B, таблицы соединений NVLink для двух- и четырёхGPU конфигураций, а также три стартовых проекта KiCad с символами разъёмов. Это пока не готовая плата, а курируемый набор публичных данных, который должен лечь в основу открытого дизайна. Отмечено, что для работы NVLink каждому V100 нужен внешний тактовый сигнал 156,25 МГц.
Пока плата разрабатывается, этот справочный комплект делится распиновкой, планами соединений и ресурсами KiCad только для разъёмов, чтобы другие могли создавать собственные проекты.
- devbug
Ха, потрясающе!
Я делал это вручную ещё в феврале 2024[1], но успел разметить только «коннектор A» и частично спроектировать переходник SXM2-to-PCIe, прежде чем отвлёкся.
В процессе я обнаружил схемы/спецификации Facebook Big Basin JBOG (из Open Compute), которые содержали дизайн, производный от эталонной реализации NVIDIA DGX-1. Похоже, это закрывает некоторые пробелы в текущем референсе. Это также объясняет некоторые дизайнерские решения, вроде форм-фактора и похожей распиновки с OpenPOWER.
https://docs.google.com/spreadsheets/d/1DfH0T9KWWoc2CpKZsRIT...
- bitexploder
У меня теперь есть 4 таких, варианта V100S. Они стареют, но надёжные. Если вы не собираетесь использовать больше 4 карт, SXM2 вам, вероятно, не нужен, но с компоновкой может быть проще иметь дело. У меня есть PCI-варианты, и я объединяю их в сеть на 25 Гбит/с и использую RDMA.
У меня запущена повреждённая квантованная версия DeepSeek V4.1 (IQ2_XXS), работающая на примерно 80-100 т/с и 950 ппс. Это на самом деле не так уж плохо, но не так умно, как полная модель. У меня есть Qwen Flash Next 3.8 на UD4 K XL с примерно 200 т/с на одиночном запуске, 450-550 совокупных т/с и 3-4 тыс. ппс. Честно говоря, сложно сказать, какая из двух моделей умнее.
Это отличная модель для локального LLM. Я написал свой собственный движок, и пока не видел ни одного бенчмарка на 4 картах быстрее, так что у этих карт определённо больше потолка, чем большинство людей думало несколько месяцев назад. У них не так много вычислений, но их как раз достаточно, чтобы большую часть времени держать свою VRAM занятой :)
- jacquesm
Приятно видеть, что это перепостили; я опубликовал это два дня назад, но оно утонуло без следа, так что я очень рад, что вы запостили это снова. Эти V100 — довольно аккуратный GPU и один из немногих, который всё ещё — в некоторой степени — доступен по цене.