800 Kontakte entschlüsselt: Referenzkit ebnet den Weg zum eigenen V100-SXM2-Trägerboard
V100 SXM2 pinout and NVLink reference
Ein kuratiertes Referenzkit dokumentiert die Pinbelegung der beiden 400-poligen Anschlüsse von NVIDIA V100 SXM2 sowie NVLink-Verbindungspläne für zwei und vier GPUs. Enthalten sind drei bearbeitbare KiCad-Starter, vollständige Schaltplan-PDFs und ein Standalone-Workbook. Das langfristige Ziel ist ein Open-Source-Trägerboard; geroutete Platinen und Hardware-Qualifizierung stehen noch aus. Eine externe 156,25-MHz-NVHS-Taktspezifikation ist zwingend erforderlich.
Mein bisheriger Beitrag ist in erster Linie Kuratierung: öffentliche Informationen sammeln, Quellen vergleichen, Anschlussorientierung und Signalnamen in Einklang bringen und die Ergebnisse leichter nachvollziehbar machen.
- devbug
Ha, fantastisch!
Ich habe das im Februar 2024 manuell gemacht[1], aber nur „Connector A“ gemappt und einen teilweise entworfenen SXM2-zu-PCIe-Interposer hinbekommen, bevor ich abgelenkt wurde.
Während des Prozesses entdeckte ich Facebooks Big Basin JBOG Schaltpläne/Spezifikationen (von Open Compute), die ein Design enthielten, das von NVIDIAs DGX-1-Referenzimplementierung abgeleitet war. Sieht so aus, als würde das einige Lücken in der aktuellen Referenz schließen. Es erklärt auch einige der Designentscheidungen, wie das Formfaktor und ähnliche Pinbelegung wie OpenPOWER.
https://docs.google.com/spreadsheets/d/1DfH0T9KWWoc2CpKZsRIT...
- bitexploder
Ich habe jetzt 4 von diesen in der V100S-Variante. Sie sind alt, aber solide. Wenn du nicht über 4 Karten hinausgehst, brauchst du wahrscheinlich kein SXM2, aber das Packaging kann einfacher zu handhaben sein. Ich habe PCI-Varianten und vernetze sie mit 25Gbps und mache RDMA.
Ich habe ein hirngeschädigtes Quant von DeepSeek V4.1 (IQ2_XXS) laufen, mit etwa 80-100 t/s und 950 pps. Es ist wirklich nicht so schlecht, aber nicht so schlau wie das volle Modell. Ich habe Qwen Flash Next 3.8 auf UD4 K XL mit etwa 200 t/s einzeln, 450-550 aggregiert t/s und 3-4k pps. Schwer zu sagen, welches der beiden Modelle ehrlich gesagt schlauer ist.
Es ist ein großartiges Modell für lokale LLMs. Ich habe meine eigene Engine geschrieben und habe noch keine 4-Karten-Benchmarks gesehen, die schneller sind, also haben diese Karten definitiv mehr Potenzial, als die meisten Leute noch vor ein paar Monaten dachten. Sie haben nicht viel Rechenleistung, aber gerade genug, um ihren VRAM die meiste Zeit beschäftigt zu halten :)
- jacquesm
Schön, dass das erneut gepostet wurde, ich hatte es vor zwei Tagen gepostet, aber es ist ohne eine Spur zu hinterlassen untergegangen, also freue ich mich wirklich, dass du es erneut gepostet hast. Diese V100 sind eine ziemlich coole GPU und eine der wenigen, die noch – einigermaßen – bezahlbar ist.