Strata bringt ein 125-Milliarden-Parameter-Modell auf deinen Gaming-PC
Run Qwen 3.8 Flash Next (125B) on consumer hardware (RTX 4090) at 100T/s
Strata ist eine Open-Source-Inferenz-Engine, die Qwen3.8-Flash-Next mit 125 Milliarden Parametern auf handelsüblicher Hardware ausführt – eine NVIDIA- oder AMD-Grafikkarte mit mindestens 12 GB VRAM, 32 GB RAM und etwa 80 GB Speicherplatz vorausgesetzt. Die Installation läuft per Ein-Klick-Skript unter Windows oder Linux, die Modelldaten bleiben lokal. Auf einer RTX 5070 erreicht das Modell je nach Quantisierung bis zu 94 Token/s beim Schreiben und 2.650 Token/s beim Einlesen von Prompts. Eine OpenAI-kompatible API auf localhost bindet Coding-Agents und eigene Apps an.
Strata lädt 35-55 GB in deinen RAM und sperrt einen Teil davon für die Grafikkarte. Das ist normal. Warte, und schließe das Fenster nicht.