Un kit de referencia abre el camino hacia una placa base open source para cuatro V100 SXM2 con NVLink
V100 SXM2 pinout and NVLink reference
El proyecto publica los mapas de pines de los conectores A y B del módulo V100 SXM2, con 800 contactos etiquetados, y planes de interconexión NVLink para configuraciones de dos y cuatro GPU. Incluye esquemas KiCad editables y un libro de trabajo con los datos, como paso previo a una futura placa portadora de código abierto. El autor aclara que su aporte es principalmente de curación y que el trabajo de ingeniería inversa pertenece a sus autores originales.
Mi contribución hasta ahora es principalmente de curación: reunir información pública, comparar fuentes, conciliar la orientación de los conectores y los nombres de las señales, y hacer que los resultados sean más fáciles de seguir.
- devbug
¡Ja, increíble!
Hice esto manualmente en febrero de 2024[1], pero solo logré mapear el "conector A" y diseñar parcialmente un interposer SXM2-to-PCIe antes de distraerme.
Durante el proceso, descubrí los esquemas/especificaciones del Big Basin JBOG de Facebook (de Open Compute), que contenían un diseño derivado de la implementación de referencia DGX-1 de NVIDIA. Parece que esto aclara algunos vacíos en la referencia actual. También explica algunas de las decisiones de diseño, como el factor de forma y el pinout similar a OpenPOWER.
https://docs.google.com/spreadsheets/d/1DfH0T9KWWoc2CpKZsRIT...
- bitexploder
Ahora tengo 4 de estas, de la variedad V100S. Están envejeciendo pero son sólidas. Si no vas a pasar de 4 tarjetas, probablemente no necesites SXM2, pero el empaquetado puede ser más fácil de manejar. Tengo variantes PCI y las conecto en red con 25Gbps y hago RDMA.
Tengo un quant con daño cerebral de DeepSeek V4.1 (IQ2_XXS) corriendo a unos 80-100 t/s y 950 pps. Realmente no está tan mal, pero no es tan inteligente como el modelo completo. Tengo Qwen Flash Next 3.8 en UD4 K XL a unos 200 t/s en solitario, 450-550 t/s agregados y 3-4k pps. Difícil decir cuál es más inteligente, honestamente, entre los dos modelos.
Es un gran modelo para LLM local. Escribí mi propio motor y aún no he visto ningún benchmark de 4 tarjetas más rápido, así que estas tarjetas definitivamente tienen más techo del que la mayoría pensaba hace unos meses. No tienen mucha potencia de cómputo pero tienen lo justo para mantener su VRAM ocupada la mayor parte del tiempo :)
- jacquesm
Qué bueno ver esto re-publicado, lo publiqué hace dos días pero se hundió sin dejar rastro, así que estoy muy contento de que lo hayas publicado de nuevo. Estas V100 son una GPU bastante interesante y una de las pocas que todavía es -hasta cierto punto- asequible.