Nvidia 3000번대 카드, 커널 모듈로 FP/BF16 명령어 발행 속도 두 배로
GPU-unlock: FP/BF16 instruction issue rate on Nvidia 3000's cards
Zagitta의 gpu-unlock은 Linux 커널 모듈로, Nvidia의 수정되지 않은 드라이버가 카드에 바인딩되기 전에 속도 선택자를 설정해 GA102/103/104/106 GPU의 FP/BF16 FMA 명령어 발행 속도를 두 배로 높인다. 3090 Ti에서 BF16 처리량은 87.5에서 157.4 TFLOPS로, TF32는 42.6에서 82.6 TFLOPS로 증가했다. 매번 드라이버를 패치할 필요가 없으며, 부팅 시 커널 명령줄에서 옵트인한다.
이 언락의 효과는 GA102, GA103, GA104, GA106 카드에서 FP32 연산으로의 FP/BF16 FMA 명령어 발행 속도를 두 배로 높이는 것이다.
HN 토론
61- Zagitta
안녕하세요, 이건 제 작업입니다. 물론 익스플로잇 같은 건 제 아이디어가 전혀 아니에요.
이건 그냥 nvidia 드라이버를 패치하는 것보다 훨씬 덜 짜증나는 패키지로 전체를 감싸는 방법일 뿐입니다. 원래는 OS로 체인로드되는 독립 실행형 UEFI 모듈로 돌아가는 CMP90/50 윈도우 언락에서 영감을 받았어요.
질문 있으면 기꺼이 답변해드릴게요!
- jacquesm
이건 진짜입니다. 하지만 몇 가지 주의할 점이 있어요:
- 편안하게 느낄 수 있는 것보다 더 뜨겁게 카드를 돌려야 합니다
- 실제 이득(일부 카드에서는, 분명히 아래 스레드 참고)을 보려면 최대 전력을 450W로 올려야 합니다
- 이건 기본 쿨러가 설계된 것보다 훨씬 높기 때문에 냉각을 좀 더 강화하면 도움이 될 겁니다
좋은 점은 이 모드를 한동안 나와 있던 p2p 모드 위에(아니, 아래에, 이게 먼저 로드되니까) 쌓을 수 있다는 거예요. 서로 간섭하지 않는 것 같습니다.
- Tiberium
제가 직접 테스트해봤고 결과는 진짜입니다. 이건 정말 대단해요, 조금 위험하긴 하지만(펌웨어를 익스플로잇하는 데 의존하니까): https://github.com/Zagitta/gpu-unlock/blob/main/docs/How%20A...
> 안타깝게도 Nvidia에게 부트로더는 스택에 바로 쓰는 고전적인 버퍼 오버플로에 취약해서 ROP(Return Oriented Programming)를 통해 코드를 실행할 수 있게 해줍니다.
RTX 4090 및 4070 Ti Super용 저장소: https://github.com/JustAResearcher/gpu-unlock-ada
- gawacer
멋지네요
- Scene_Cast2
정말 흥미롭네요.
반면에 이건 제한된 워크로드에만 적용됩니다(예를 들어 학습은 종종 메모리 대역폭에 묶이죠).
전력 소비에는 어떤 영향을 미치는지도 궁금하네요.