ggml 1.0.0 räumt mit veralteter API auf und beschleunigt jede Backend-Familie
Ggml v1.0.0
Das erste Major-Release von ggml entfernt die veraltete öffentliche API und die Legacy-DIAG_MASK-Operationen, hebt das RPC-Protokoll auf v9 und ergänzt konfigurierbare YaRN-Trunkierung sowie FP8-Unterstützung. Dazu kommt breite Performance-Arbeit: Few-Row-MMQ und MoE-Fusion auf CUDA und Metal, ein Vulkan-Prefill-FlashAttention-Pfad, ein geräteseitiger MoE-Scheduler auf SYCL, zerlegtes Adreno-FlashAttention in OpenCL, neue WebGPU-Kernel und erweiterte Hexagon-Abdeckung.
Der Scheduler überspringt das Hochladen von Eingaben, die nicht gelesen werden, und prefetcht nur Eingaben, die von früheren Splits erzeugt wurden.
- jacquesm
Was an diesem Projekt und auch an llama.cpp wirklich beeindruckend ist, ist, dass sie immer wieder neue Wege finden, den Code auf derselben Hardware zu beschleunigen. Jedes Mal, wenn ich aktualisiere (etwa einmal im Monat), gibt es normalerweise einen Geschwindigkeitsschub von 5 bis 10 %.
Bearbeitung: Nur zur Bestätigung: Ich hatte vor, heute zu aktualisieren, habe meinen üblichen Benchmark vorher und nachher laufen lassen, und die Laufzeit ging von 4:22 auf 3:59. Das ist ein wirklich langer Prompt (50K Token), also macht das Prefill einen guten Teil davon aus, und der Rest entfällt auf die Token-Generierung.
- evilelectron
Großartig! ggml und llama.cpp sind das Linux der KI-Welt. Sie treiben die lokale Inferenz Bit für Bit voran.
Ich wünsche euch unbegrenzte Leistung und möget ihr nie einen Tag mit schwachem Akku erleben. Respekt und Liebe. Weiter so.
- kodoman
Langjähriger llama.cpp-Nutzer (und Nutzer anderer KI-Programme auf ggml-Basis), der auf meiner miesen AMD-Karte läuft, die nur Vulkan unterstützt, und dank GGML und llama.cpp nutzbar ist. Tolles Programm, tolles Projekt.
- palad1n
Ich bevorzuge diesen Einstiegspunkt: https://github.com/ggml-org/ggml
- hizlikovboy27
Meiner Meinung nach ist dies ein echtes Ingenieursprodukt.
LLM.cpp, der Retter unserer schwierigen Zeiten...