Strata bringt ein 125-Milliarden-Parameter-Modell auf deinen Gaming-PC

Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s

Strata bringt ein 125-Milliarden-Parameter-Modell auf deinen Gaming-PC

Strata ist eine Open-Source-Inferenz-Engine, die Qwen3.8-Flash-Next mit 125 Milliarden Parametern auf handelsüblicher Hardware ausführt – eine NVIDIA- oder AMD-Grafikkarte mit mindestens 12 GB VRAM, 32 GB RAM und etwa 80 GB Speicherplatz vorausgesetzt. Die Installation läuft per Ein-Klick-Skript unter Windows oder Linux, die Modelldaten bleiben lokal. Auf einer RTX 5070 erreicht das Modell je nach Quantisierung bis zu 94 Token/s beim Schreiben und 2.650 Token/s beim Einlesen von Prompts. Eine OpenAI-kompatible API auf localhost bindet Coding-Agents und eigene Apps an.

Strata lädt 35-55 GB in deinen RAM und sperrt einen Teil davon für die Grafikkarte. Das ist normal. Warte, und schließe das Fenster nicht.
  1. a11r

    Ich bin etwas skeptisch, was Quantisierungen unter 4 Bit angeht, wegen der möglichen erheblichen Qualitätseinbußen. Ich betreibe 4-Bit-Quantisierungen auf einer RTX Pro 6000, die für etwa 1 $/Stunde gemietet ist, und erziele mit Caching etwa 1,2 Millionen Output-Tokens und 40 Millionen Input-Tokens pro Stunde. Die Qualität der 4-Bit-Quantisierung ist gut genug für schwierige, aber klar umrissene Coding-Aufgaben. Hier ist der Inferenz-Stack, den ich verwende: https://www.reddit.com/r/BlackwellPerformance/s/FrKwk3GoDK

  2. XCSme

    Was es wert ist: Auf high ist 27b besser, aber beide Modelle sind auf high zu langsam, um sie zu benutzen (viel zu viele Output-Tokens).

    Auf low ist 3.8 Flash Next besser UND deutlich schneller.

    Meine Ergebnisse[0][1], auf einer RTX 3090 + 128GB DDR4 RAM. Ich muss noch sehen, ob ich für beide noch weitere Einstellungen optimieren kann, aber ich denke, ich werde für meine lokalen LLM-Nutzungen von 3.8 27b auf 3.8 Flash Next umsteigen.

    [0]: https://aibenchy.com/?q=qwen+3.8+27b%2C+qwen+3.8+next

    [1]: https://aibenchy.com/compare/qwen-qwen3-8-27b-low/qwen-qwen3...

  3. Jackson__

    Ich habe Strata gerade an einem einfachen Vision-Benchmark mit 50 Bildern getestet. Die Aufgabe besteht darin, die exakten Koordinaten eines angeforderten Objekts auszugeben. Das Ergebnis über Strata hatte eine mediane Fehlerdistanz von 154,8 Pixeln, durchschnittlich 168,8. Wenn ich exakt dieselben GGUF- und Vision-Adapter-Gewichte auf llama.cpp laufen lasse, bekomme ich einen medianen Fehler von 46,5, durchschnittlich 81,4.

    Um das ins Verhältnis zu setzen, hier noch ein paar Zahlen von anderen Modellen über llama.cpp:

    Median/Durchschnitt

    Qwen 3.5 9B BF16: 46,5 / 193,3

    Qwen 3.6 35B Q4 K XL: 38,4 / 76,4

    Qwen 3.5 122B Q3 K M: 32,9 / 68,6

    Der Unterschied in der Vision-Leistung ist so groß wie der Sprung von einem 9B-Modell zu einem 35B-Modell. Alle Tests wurden bei temp=0 durchgeführt.

    Ich habe keine weiteren Tests durchgeführt, da diese Ergebnisse perfekt mit meinen Erwartungen übereinstimmen.

  4. cjdell

    Das ist bahnbrechend. Meine R9700 32GB ist jetzt schlauer und etwa 2x schneller als mit Qwen-3.8-27B. Etwa 60 t/s in Kombination mit meinen 96GB DDR4. Mein Mainboard begrenzt mich auf PCIe Gen3, das ist wahrscheinlich ein Flaschenhals.

    Für die Nix-Geneigten:

    https://github.com/cjdell/nixos-config/blob/main/hosts/zen3-...

    Habe es sogar auf der iGPU eines GMKTec M6 Ryzen 6600H mit vernünftiger Geschwindigkeit zum Laufen gebracht (10 t/s). Schnell genug, um es mit einem Prompt stehen zu lassen, bevor ich ins Bett gehe, und mit einer Lösung aufzuwachen.

  5. snehesht

    Ich habe es ausprobiert und es funktionierte überraschend gut. Auf meinem Rechner (Nvidia 4090, 128GB DDR5, Ryzen 7950x3d) bekomme ich 124 Tokens pro Sekunde, dachte, ich teile das hier.

    https://huggingface.co/Qwen/Qwen3.8-Flash-Next

  6. AntiRush

    Ich habe an der Unterstützung für dieses Modell in ds4 auf der RTX 6000 pro gearbeitet – es war wirklich großartig für meine Anwendungsfälle. Die ds4 q4-Quantisierung performt viel besser als andere ähnliche Größen, die ich gesehen habe.

    Mit der Q4-Quantisierung auf einer RTX 6000 Pro Workstation Edition bei 450 Watt:

    Code: Prefill 1.251 tok/s, Decode 255,26 tok/s

    Prosa: Prefill 1.251 tok/s, Decode 198,78 tok/s

    Am wichtigsten für mich: Ich kann 4 gleichzeitige Streams mit 400+ tok/s laufen lassen.

    https://github.com/fairfieldt/ds4

  7. kamranjon

    Dwarfstar unterstützt das bereits, bin neugierig, wie es abschneidet, aber ich nutze die q4-Quantisierung täglich und sie funktioniert wirklich gut.

    https://github.com/antirez/ds4/blob/main/docs/MODELS.md#qwen...

  8. slashtom

    Qwen 3.8 Flash Next mit mtplx auf 128GB M5 Max ist erstaunlich, mit vollem Kontext bekomme ich etwa 72 tok/s, es hat für mich die Frontier-Modelle ersetzt.

  9. jacquesm

    LLM-Threads auf der ganzen Welt werden mit Strata-Links zugemüllt; es bleibt abzuwarten, wie viel von dem atemlosen Hype nach der Honeymoon-Phase noch steht. Ich habe es ausprobiert, aber bisher hat mich nichts in Bezug auf Genauigkeit übermäßig beeindruckt, obwohl die Geschwindigkeit definitiv da ist. Ich bin sicher, es gibt Anwendungen für LLMs, bei denen die Qualität der Antworten weniger wichtig ist, aber ich habe keine davon. YMMV.

  10. lxe

    Warum ist diese Art von Expert-Caching noch nicht im nativen llama.cpp? Warum brauchen wir eine separate Codebasis?

Mehr von diesem Tag

2026-10-04