Un módulo del kernel desbloquea el doble de velocidad FP/BF16 en las Nvidia RTX 3000
GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards
gpu-unlock es un módulo del kernel Linux que activa las tasas de emisión de instrucciones FP/BF16 de las tarjetas GA102, GA103, GA104 y GA106 al nivel de sus equivalentes profesionales. Se carga antes que el driver de NVIDIA y evita parchear cada nueva versión. En una 3090 Ti, el rendimiento BF16 en GEMM pasa de 87,5 a 157,4 TFLOPS, y TF32 de 42,6 a 82,6 TFLOPS.
El efecto de este desbloqueo es que duplica la velocidad de emisión de instrucciones de las operaciones FMA FP/BF16 hacia FP32 en las tarjetas GA102, GA103, GA104 y GA106.
- Zagitta
Oye, este es mi trabajo, aunque los exploits, etc., no son ideas mías ni mucho menos.
Esto es solo una forma de empaquetar todo el asunto en un paquete mucho menos molesto que tener que parchear el driver de nvidia. Originalmente me inspiré en los desbloqueos de CMP90/50 para Windows que se ejecutan como módulos UEFI independientes que hacen chainload al SO.
¡Encantado de responder preguntas!
- jacquesm
Esto es real, pero hay algunas advertencias:
- tendrás que hacer funcionar tu tarjeta a una temperatura más alta de la que quizás te resulte cómoda
- la recompensa real (en algunas tarjetas, aparentemente, ver más abajo en el hilo) requiere aumentar la potencia máxima a 450W
- Esto está muy por encima de para lo que se diseñó el disipador de serie, así que un poco más de refrigeración ayudaría
Lo bueno es que puedes apilar este mod encima de (o más bien, debajo de, este se carga primero) el mod p2p que lleva tiempo disponible, no parecen interferir entre sí.
- Tiberium
Lo he probado yo mismo y los resultados son legítimos, esto es increíble, aunque un poco arriesgado (se basa en explotar el firmware): https://github.com/Zagitta/gpu-unlock/blob/main/docs/How%20A...
> Por desgracia para Nvidia, el booter es vulnerable a un clásico desbordamiento de búfer que escribe directamente en la pila, lo que nos da la capacidad de ejecutar código mediante Return Oriented Programming (ROP).
Repo para RTX 4090 y 4070 Ti Super: https://github.com/JustAResearcher/gpu-unlock-ada
- gawacer
genial
- Scene_Cast2
Muy interesante.
Por otro lado, esto solo se aplica a un conjunto limitado de cargas de trabajo (el entrenamiento, por ejemplo, suele estar limitado por el ancho de banda de memoria).
También me pregunto cómo afecta esto al consumo de energía.