Slotstream - Streaming 104GB LLM on Macs with 8GB RAM
Show HN: Running 104GB Qwen3.8-Flash-Next on 48GB Mac with at ~12 tok/s
Slotstream ist ein Swift-basiertes Tool, das das Qwen3.8-Flash-Next-Modell (125B MoE, 104 GB bei 4-Bit-Quantisierung) auf Macs mit deutlich weniger Arbeitsspeicher ausführt, indem es die Expertengewichte von der SSD streamt. Es bietet eine Ollama-kompatible API und erreicht auf einem 48-GB-Mac etwa 12 Tokens pro Sekunde. Die Speichernutzung ist automatisch anpassbar und kann auf bis zu 8,1 GB begrenzt werden. Die Installation erfolgt per curl, und das Tool prüft vor dem Download die Kompatibilität. Es unterstützt Streaming, CORS und gängige Sampling-Optionen. Ideal für alle, die große Modelle auf Macs mit begrenztem RAM ausprobieren möchten.
Slotstream lässt ein 104 GB großes Modell auf einem Mac laufen, der es eigentlich nicht halten kann – und das mit beeindruckenden 12 Tokens pro Sekunde.
- embedding-shape
> Hugging Face ist der Engpass, nicht deine Verbindung.
Die README könnte eindeutig eine Bereinigung vertragen, sie wirkt eher wie ein Sitzungsprotokoll-Dump als wie eine gute Einführung in das Projekt für einen neuen Benutzer. Versuch vielleicht so etwas wie: "Entferne alles aus der README.md, was für jemanden, der dieses Projekt zum ersten Mal ohne Kontext sieht, nicht hilfreich wäre. Schreibe alle Absätze und Abschnitte prägnant um und entferne alles Überflüssige, lass nur wichtige Details stehen, die neue Benutzer vor der Verwendung des Projekts wissen müssen."
- mulemisterX
Ich habe ein 48GB M5. Ich muss keine größeren Modelle ausführen. Ich möchte mehr Kontext. Es ist mir gelungen, das Kontextfenster auf 71.680 Token mit Qwen3.8-27B-oQ4e-fp16-mtp zu setzen. Aber ich möchte mehr. Kann jemand mit ähnlicher Ausstattung sein Kontextfenster höher setzen?
- prometheus1992
Es ist schwer zu glauben, dass 16 GB Unified Memory dir 5 Token/s geben, es sei denn, du ignorierst die thermischen Warnungen. Ich lasse Qwen3.6-35B-A3B auf meinem 16 GB M3 laufen und erhalte 7-8 Token/s mit allen Optimierungen, während ich den Speicherspitzenwert und die thermischen Warnungen im Auge behalte. https://github.com/deepanwadhwa/samosa-chat
- whartung
Ich hoffe auf Fortschritte in diesem Bereich.
Leute reden darüber, wie 32 GB nicht genug für den lokalen Gebrauch sind, aber dann gab es Arbeiten wie diese, die es ermöglichen.
Meine Hoffnung ist, dass das neue 32 GB M6 "nützlich" lokal sein wird, möglicherweise wegen Arbeiten wie dieser.
- jwr
Für das, was es wert ist: Ich habe einige Zeit mit Claude verbracht, um einen lokalen Runner für `llama.cpp` zu entwickeln. Ich lasse Qwen3.6-35B-A3B-MTP (schnell!) und Qwen3.8-27B (20 Token/s).
Das war die Mühe auf jeden Fall wert. Benchmarking und das Testen verschiedener Ansätze und Optionen haben sich wirklich ausgezahlt. Zum Beispiel hat mich überrascht, dass MTP bei Qwen3.8-27B die Dinge verlangsamt hat, nicht beschleunigt.
Ich benutze ein 64 GB MacBook Pro (M4 Max).
- jmward01
Kein Mac-/UMA-Diskussionspunkt, aber ist es an der Zeit, zusätzlichen, installierbaren DDR5 zu GPUs hinzuzufügen? Ich kann das als Win/Loose sehen. PCIe 5x16 ist nahe daran, die Bandbreite auszureizen, die hochwertiges Dual-Channel-DDR5 jetzt bietet, aber noch nicht ganz. Ich bin kein Hardware-Mensch, aber ich vermute, dass das Platzieren auf der Karte zu erheblichen Leistungsverbesserungen gegenüber der Verwendung von Systemspeicher führen könnte, sodass Systeme wie diese, bei denen MOE-Gewichte abgeworfen werden, eine noch höhere Leistung erzielen können, als nur dieses DDR5 zum System hinzuzufügen. Größere Modelle rücken näher an die Realität und es bietet mehr Weg für die Entwicklung von Technologien, die davon profitieren. Natürlich ist die Kehrseite, dass man viel spezialisierten RAM auf eine Karte setzt, anstatt in das System, wo er für andere Dinge verwendet werden könnte. Ich könnte einen Platz für eine 16-GB-Karte mit 64 GB (oder mehr) DDR5 sehen, besonders wenn wir anfangen zu sehen, dass MOE und ähnliche Technologien wirklich für dieses Konzept entwickelt werden.
- jacquesm
Ich liebe diese Bemühungen, ordentliche Modelle auf kostengünstigerer Hardware zum Laufen zu bringen, und ich denke, dass hier der nächste echte Durchbruch herkommen wird. Je effizienter so etwas gemacht werden kann, desto größer ist die Chance, diese Technologie zu demokratisieren. 'Gut genug' ist, was man braucht, und solange 'Top-of-the-Line' einen Wettbewerbsvorteil bietet, selbst wenn es mit Kosten verbunden ist, besteht ein erhebliches Risiko, dass die Tür zur allgemeinen Computertechnik in naher Zukunft zuschlägt. Denk daran, dass es keine Garantie gibt, dass das Pendel zurückschwingen muss; es kann in eine Richtung schwingen und stecken bleiben, und dann musst du um Krümel von den Habenden betteln.
- atif089
Als jemand, der sich nur die theoretischen Benchmarks dieser Modelle ansieht, bin ich neugierig, ob jemand teilen könnte, welche Probleme (vielleicht rund um Code) flash-next lösen konnte, die 27b nicht lösen konnte.