TornadoVM 7 lässt Java-Code direkt auf Nvidia-GPUs laufen
TornadoVM 7 Enables GPU-Native Workloads from Java Applications
TornadoVM 7.3 beschleunigt Java-Programme automatisch auf CPUs und GPUs, ohne die JVM zu ersetzen. Die neue Version setzt auf die Foreign Function & Memory API statt JNI, entfernt die JVMCI-Abhängigkeit und bietet einen optimierten CUDA-Backend mit cuTile-Unterstützung sowie direkte Aufrufe von cuBLAS und CUTLASS. Entwickler können JIT-Kernel durch CUDA-Bibliotheksaufrufe ersetzen oder beides kombinieren. Zudem gibt es Multi-GPU-Unterstützung und das neue jitLLM 2.0 als Konkurrenz zu llama.cpp und Ollama.
Die Idee ist, dass man lokal auf seinem Laptop entwickelt und die dort verfügbare Hardware nutzt und dann auf einem Server mit Nvidia-GPUs deployt und große Performance-Verbesserungen erzielt – eine Art „Write Once, Run Anywhere“ für moderne ML-Workloads.
- zmmmmm
Scheint ein schöner Gewinn zu sein, selbst wenn es nur das Beispiel abdeckt, das sie haben:
void matmul(Matrix2DFloat A, Matrix2DFloat B, Matrix2DFloat C, int size) {
for (@Parallel int i=0; i<size; i++) {
for (@Parallel int j=0; j<size; j++) {
float sum = 0f;
for (int k=0; k<size; k++)
sum += A.get(i,k)*B.get(k,j);
C.set(i, j, sum);
}
}
}
Aber der Elefant im Raum ist die Vector API. Wird das am Ende wie bei Logging laufen – eine standardisierte API, die niemand benutzt, weil sie 10 Jahre zu spät zur Party kam und nicht so gut ist wie das, was sich bereits etabliert hat?
Und warum verwirrt man alle, indem man es VM nennt, obwohl es als JAR-Datei ausgeliefert wird, die in einer bestehenden VM läuft?
- mikepapadim
https://github.com/beehive-lab/TornadoVM das ist das Haupt-Repo.
Du kannst es mit jedem JDK21+ und Nvidia- oder Apple-Hardware und deren Nvidia-Bibliotheken oder MLX-Bibliotheken verwenden.
- the_arun
Heißt das, wir können Java nutzen, um KI-Infrastruktur zu bauen?