Apple macht den Mac mit „Harbor“ zum privaten KI-Server
Apple has new Mac app coming to make running local AI models easy
Ein Leak zeigt Apples neue Mac-App Harbor: Sie lässt offene KI-Modelle lokal auf Apple Silicon laufen, ohne dass Daten die Hardware verlassen. Mehrere Macs lassen sich per Thunderbolt 5 zu einem Cluster verbinden und bündeln ihren Unified Memory, sodass auch große Modelle und viele parallele Anfragen möglich werden. Die Einrichtung soll in Minuten statt Stunden erledigt sein. Aktuell läuft Harbor als private Preview unter Apples Marke Claris.
Harbor verwandelt deinen Mac in einen privaten KI-Inferenzserver. Führe Open-Weight-Modelle lokal auf Apple Silicon aus – deine Daten verlassen niemals deine Hardware, und nichts erreicht die Cloud.
- brainless
Ich verstehe wirklich nicht, was der Wert davon ist, große Modelle lokal laufen zu lassen. Ich bin absolut begeistert von lokalen Modellen, aber für spezifische Aufgaben. Die Agenten müssen in diesem Fall eine Menge Arbeit leisten: Orchestrierung, Aufteilung von Planung und Arbeit in große oder kleine Modelle, Aufteilung in kleine Aufgaben, Zusammenführung usw.
LLMs mit Modellen unter 30B Parametern scheinen der Sweet Spot zu sein. Ich würde mich lieber auf mehrere winzige LLMs konzentrieren, die auf spezifische Aufgaben abgestimmt sind (SQL-Abfragen, Finanzen/Buchhaltung, Backend/Frontend-Entwicklung usw.).
Für größere Modelle reicht ein Neuralwatt/Opencode Go-Abo für etwa 10-40 $ oder ein ähnliches Abo für den Durchschnittsnutzer so weit, dass es lächerlich ist. Wir sind immer noch in der "Jugend"-Ära der Agenten. Es gibt viele Muster, die mit kleineren LLMs gut funktionieren. Oder mit einer Kombination aus großem und kleinem LLM.
Mein Kontext:
Ich besitze den winzigen 16GB M4 Mac Mini und nutze LLMs (Coding-Agenten), um Software zu bauen, und einige meiner Produkte nutzen LLMs direkt. Vollzeitnutzer von LLMs, lese oder schreibe keinen Code manuell. Ich lasse manchmal die winzige Qwen-Serie (<10B Parameter) laufen, aber ein paar 20-Dollar-Abos (Claude, Neuralwatt) decken meinen Vollzeit-Agenten-Einsatz ab.
- pen2l
Apple ist für mich der Gewinner am Ende dieses KI-Kapitels.
Destillation funktioniert: Wir können Modelle schlanker machen, mit immer weniger Parametern bessere Leistung erzielen, effizienter und lokal lauffähig. Apple versteht das, und wir werden das Ergebnis mit den M7 Max/Ultra-Chips sehen, und ich rechne damit, dass dies eine der namensgebenden Apps sein wird, wenn die M7-Chip-Reihe eingeführt wird.
Ich schätze, das erklärt die Eile, mit der Anthropic und OpenAI an die Börse wollen, um Kasse zu machen und den Kleinanleger mit der Rechnung sitzen zu lassen.
- simonw
"Harbor ist derzeit in einer privaten Vorschau unter Apples Marke Claris"
Das ist ein Name, den ich lange nicht gehört habe! Claris (immer eine Apple-Tochter, seit der Gründung 1987) benannte sich 1998 in FileMaker um, aber offenbar haben sie 2019 wieder auf Claris umfirmiert.
Sieht so aus, als hätten sie in den letzten zehn Jahren meist nur jährliche Upgrades für FileMaker veröffentlicht, aber letztes Jahr haben sie MCP hinzugefügt: https://www.claris.com/blog/2025/why-mcp-matters-for-claris-...
- jedbrooke
> Cluster für Skalierung: "Verbinde zwei oder mehr Thunderbolt-5-fähige Mac-Computer und Harbor bündelt ihren Unified Memory zu einer einzigen Inferenz-Ressource. Führe Modelle aus, die die Kapazität eines einzelnen Computers übersteigen, oder bediene mehr gleichzeitige Anfragen über deinen Cluster."
Das scheint der Hauptweg zu sein, wie es sich von bestehenden Lösungen wie LMStudio usw. abheben würde.
- apparent
Das ist es, was ich mir in den letzten Jahren gewünscht habe. Ich habe mit lokalen Modellen herumgespielt und einige Erfolge erzielt, aber ich möchte mich nicht mit dem Aufwand für Einrichtung, Updates usw. herumschlagen.
Wenn das alles einfach wäre, würde ich gerne in neue dedizierte Hardware investieren, um es laufen zu lassen. Das könnte ein vollwertiger Mac sein oder ein aufgemotztes HomePod-ähnliches Gerät mit viel RAM. Noch besser: Macht daraus einen wiederbelebten, Matter-fähigen Airport!
- mgiampapa
Ich liebe es, dass sie Claris dafür zurückbringen. Moof!
- gizmodo59
Ich will wirklich leistungsfähige Modelle lokal, aber ich kann mir die Hardware unmöglich leisten. Wenn es einen magischen Weg gäbe, glm 5.3 ohne Quantisierung mit 80-100 tps bei Gesamtkosten unter 10K laufen zu lassen, wäre ich glücklich, aber das ist derzeit unmöglich.
- quaddoggy
Nachdem ich darüber nachgedacht habe, ergibt es Sinn, dass Claris ein solches Projekt unter der Schirmherrschaft von Apple angeht. Sie sind eine Tochtergesellschaft, also können sie mit diesem Zeug herumspielen, ohne sich an die drakonischen alltäglichen Betriebsbeschränkungen von "Apple proper" halten zu müssen. Gut für sie, wenn sie sich in etwas verwandeln können, das sich der KI zuwendet.