M4 Pro Mac mini: Mein lokales LLM-Setup mit Qwen3.6-35B-A3B
My local model setup on an M4 Pro Mac Mini
Ein Entwickler beschreibt, wie er auf seinem M4 Pro Mac mini mit 48 GB RAM einen lokalen LLM-Server einrichtet. Der Stack umfasst Qwen3.6-35B-A3B-OptiQ-4bit als Hauptmodell, Gemma-4-E4B-it-OptiQ-4bit für einfache Aufgaben, den Inferenzserver oMLX und Tailscale für die Vernetzung. Er erklärt die Vorteile lokaler Modelle: Kostenkontrolle, Datenschutz, geringe Latenz, Offline-Fähigkeit und keine Rate-Limits. Zudem erläutert er die RAM-Anforderungen von MoE-Modellen und wie man Modelle einfach austauschen kann.
Cloud-APIs sind gemietetes Land – sie können ihre Preise ändern, deine Nutzungslimits treffen oder das Modell hinter den Kulissen austauschen, wann immer sie wollen.
- bambax
Nette Einrichtung; aber für einfache Aufgaben oder Fragen ist KI derzeit kostenlos? Und sie wird wahrscheinlich kostenlos bleiben, da ich nicht sehe, dass Google anfängt, für die Nutzung von KI in seiner Suchmaschine zu verlangen? Also können Kosten kein Grund sein, kleine Modelle lokal zu betreiben?
Bei komplexeren oder wichtigeren Aufgaben spielen Kosten, Autonomie und Datenschutz eine Rolle, aber dann auch Leistung/Qualität.
Ich bin also nicht ganz überzeugt, dass es sich wirklich lohnt; aber es ist verlockend!
- amanzi
Keine Erwähnung der Leistung der Modelle? Ich kann eine Reihe verschiedener Modelle auf meinem kleinen Mini-PC mit 16 GB RAM laden, aber die Leistung ist schrecklich. Ich frage mich immer, welche Leistung Leute mit lokalen Modellen erzielen, die sie für akzeptabel halten?
- c16
> Ein großes Modell lokal zu betreiben, läuft auf eine Sache hinaus: wie viel RAM es tatsächlich im Speicher benötigt.
Nicht ganz richtig. Es ist Speicher UND Speicherbandbreite. Du kannst 1 TB Speicher haben, aber wenn du eine miserable Speicherbandbreite hast, wirst du auch langsame tok/s haben. A3B hilft dabei, aber auch MTP.
Aus meiner Erfahrung wärst du besser dran, das dichte 27b-mlx mit MTP zu betreiben als die 3.6-Version mit A3B. Du sagst, dein Modell hat ~20 GB RAM, aber das 3.8:27b-mlx hat 18 GB und liefert mir sehr vernünftige tok/s, und höhere Geschwindigkeit, wenn du das Denken deaktivierst, wenn es nicht benötigt wird.
- akg_67
Aktuelle Leistungsdaten auf meinem M1 Max 32 GB MacBook mit oMLX. Ich arbeite daran, geeignete Modelle und Konfigurationen für meinen Anwendungsfall und mein System zu identifizieren. Verwende einen Refactor- und Verbesserungsvorschläge-Prompt für einen bestimmten Django-Codeblock mit der VSCode-Cline-Erweiterung.
---
Qwen3.8-27B-4bit, Prompt-Verarbeitung (PP) 66,3 tok/s, Token-Generierung (TG) 11,8 tok/s
Ornith-1.5-35B-A3B-MLX-4bit, PP 379,7, TG 45,8
Ornith-1.5-35B-A3B-MLX-4bit, PP 381,5, TG 46,4
Qwen3.6-35B-A3B-mxfp4, PP 389,6, TG 47,6
Qwen3.6-35B-A3B-OptiQ-4bit, PP 342,6, TG 44,4
---
Qwen3.8-27B-4bit läuft im Allgemeinen aus Ausgabe-Token, bevor es die Aufgabe abschließt, obwohl es hervorragende Teilergebnisse liefert.
Ornith-1.5-35B-A3B-MLX-4bit scheint oft in eine Schleife zu geraten, besonders bei Tool-Aufrufen.
Qwen3.6-35B-A3B-mxfp4 scheint optimal in Bezug auf Geschwindigkeit und Ausgabequalität zu sein.
Ich werde bald Qwen3.6-35B-A3B-4bit mit demselben Codeblock testen, nur um meine Intuition zu überprüfen, dass Derivate nicht besser abschneiden als die Originale.
- stub_out
Oh Mann, ein M4 Pro. Mein alter M1 zeigt wirklich sein Alter, wenn ich versuche, etwas Größeres als 7B auszuführen.
- thrw93747572007
Ziemlich viel "Lokal funktioniert nicht" hier - leider oft ohne viele Details darüber, wofür die Leute ihre Modelle eigentlich nutzen wollen. Das würde mich interessieren.
Ich persönlich nutze Frontier-Modelle in der Cloud für viele (meta-)kognitive Analysen, die schwer genug sind, dass ich regelmäßig an die Grenzen kostenpflichtiger Konten stoße - ich bin also weder ein Luddit noch geizig mit Geld in diesem Fall.
Allerdings habe ich auch ziemlich gute Erfahrungen mit lokalen Modellen. Mein solider, aber kaum extremer Desktop (mit einer RX 9070 XT 16 GB) bedient hauptsächlich gemma4:12b und spezialisierte Modelle (Embeddings) in meinem lokalen Netzwerk. Das dient der allgemeinen Nutzung wie einfachen Anfragen, einfachem Code, Umformatierungen und Ähnlichem, aber auch zwei spezifischen Aufgaben, die permanent laufen:
a) Es ist mit Home Assistant verbunden (als zweite Stufe nach sehr einfachen "Schalte Licht XY ein"-Befehlen, die ohne LLM verarbeitet werden). So kann ich in meine Smartwatch murmeln "Computer, wie viel Gas haben wir im Warpkern und wie viel Energie haben die Bussard-Kollektoren heute aus dem kosmischen Staub gewonnen?" (oder eine komplexere Lichtszene beschreiben oder eine Automatisierung erstellen, die ich möchte, oder was auch immer).
Das Telefon transkribiert das - mit einem lokalen Modell auf dem Gerät - und sendet es an den Desktop, der agentischen Zugriff auf HA hat, durch die Sensoren und Daten schaut, sieht, dass ich meine Solarpaneele und Batterie mit Nerd-Vokabular getaggt habe. Es zieht die richtigen Schlüsse, rechnet ein paar Einheiten um und gibt mir eine schöne Übersicht zurück. Alles freihändig, während ich s […]
- amelius
> Der Hauptgrund, lokal zu laufen: Cloud-APIs sind gepachtetes Land. Sie können ihre Preise ändern, deine Nutzungslimits treffen oder das dahinterliegende Modell austauschen, wann immer sie wollen.
Ja, aber es ist einfach, sie zu ersetzen.
Der Hauptgrund sollte Datenschutz sein.
- jumploops
Mein größtes Problem mit lokalen LLMs auf meinem M4 Max/128 GB RAM ist die Prefill-Latenz.
Ich habe mir seitdem zwei DGX Sparks zugelegt, und es fühlt sich so viel schneller an.