CUDA auf AMD: ZLUDA-Stack läuft reproduzierbar unter Windows
CUDA for AMD on Windows
Ein neues GitHub-Repository namens CUDA-for-AMD-Windows macht CUDA-Anwendungen auf AMD-GPUs unter Windows nutzbar. Der Stack kombiniert ZLUDA v6-preview.69 mit dem AMD HIP SDK 6.4 und LibTorch 2.3.0+cu118. Als einziges validiertes Modell gilt derzeit die Radeon RX 9060 XT (gfx1200). Ein PPO-Netz mit 2.216.347 Parametern absolvierte Forward- und Lernschritte, eine Iteration schaffte 65.536 Timesteps. cuBLAS, cuSPARSE und cuFFT laufen, cuDNN fehlt jedoch im stabilen HIP-SDK.
ZLUDA ist keine vollständige CUDA-Implementierung.
- linuxhansl
Off-topic und etwas ranty, aber ich würde es weit bevorzugen, wenn wir uns alle auf offene Standards wie HIP, SYCL, OpenCL usw. konzentrieren würden.
Es ist unerträglich, dass die meiste LLM-Inferenz auf geschlossener H/W, geschlossenen Treibern und geschlossenen SDKs stattfindet.
- swerner
KI wird Nvidias Burggraben einreißen. Wenn es trivial wird, CUDA/PTX nach HIP, SYCL oder Metal zu übersetzen, ist CUDA nicht mehr der Burggraben, sondern wird zur Zwischendarstellung.
- lulzx
Ich habe übrigens cuda-metal gemacht (für Mac kek), https://github.com/lulzx/cuda-metal
- Nurysso
Mann, ich kann gar nicht sagen, wie sehr ich CUDA früher mochte, als ich eine Nvidia-GPU hatte – es hat ML so viel Spaß gemacht, und bei AMD ist es ein Krieg, besonders mit RDNA-2-Karten, die ich habe. Hoffentlich werden wir eines Tages in der Lage sein, CUDA ordentlich für seine AMD-Gegenstücke zu übersetzen.
- latchkey
Es gibt auch interessante Bemühungen wie: