Apple überrascht von KI-Nachfrage nach Mac mini und Mac Studio

Ein großer Teil der "KI-Nachfrage" besteht nicht nur darin, Inferenz auf einem LLM auszuführen, dessen Gewichte man heruntergeladen hat.

Ich trainiere ein Modell mit Reinforcement Learning durch Selbstspiel. Ich kann und nutze vast.ai, wenn ich skalieren muss, aber für Experimente ist es viel schneller und billiger, es lokal laufen zu lassen, bis alle Fehler behoben sind. Allein die Bereitstellung einer neuen Instanz und das Kopieren der relevanten Checkpoints und ähnlichem kann 25 Minuten dauern. Lokal dauert es null.

Ich bin neugierig, ob diese lokalen KI-Setups im Vergleich zur Cloud wirklich nützlich sind. Ich habe große Mühe, mit meiner Hardware etwas Brauchbares hinzubekommen.

Ich weiß, dass ich etwas eingeschränkt bin (16GB RX 9070), aber es scheint trotzdem weit entfernt von der Erfahrung, die ich selbst mit einem einfachen 20-Dollar-Abo pro Monat bekomme.

Tipps wären willkommen! Ich möchte gerne lokal arbeiten und wäre bereit, Hardware zu kaufen, um das zu erreichen.

Es ist lustig zu sehen, dass selbst ein extrem großes Unternehmen unerwarteten Product-Market-Fit finden kann [0]. Laut diesem Artikel: "Das Unternehmen hatte angeblich kein Ingenieursteam, das sich Geschäftskunden widmete, oder Mitarbeiter, die sich um Entwicklerbeziehungen kümmerten, und es fehlte eine Enterprise-KI-Strategie." Das klingt im Nachhinein verrückt, aber ich denke, es gibt einfach eine inhärente Unsicherheit darüber, was die Leute wirklich brauchen und wofür sie Dinge nutzen werden.

[0]https://pmarchive.com/guide_to_startups_part4.html: "In einem großartigen Markt – einem Markt mit vielen echten potenziellen Kunden – zieht der Markt das Produkt aus dem Startup heraus... Das Produkt muss nicht großartig sein; es muss nur grundsätzlich funktionieren."

Mac Minis waren auch schon vor dem KI-Boom wirklich gute HTPC-Kandidaten. Wie alles, was wirklich nützlich und erschwinglich ist, wurden sie normalen Verbrauchern von einem Haufen Idioten weggeschnappt, die dem neuesten Goldrausch hinterherjagen.

Was hier passiert, ist nicht, dass Apple bei der Entwicklung von KI-Modellen zurückliegt – ich dachte, ich hätte irgendwo auf MacRumors in den letzten zwei Jahren gelesen, dass Apple hinter seinen Technologie-Peers zurückliegt und Apple genauso gut die Türen schließen könnte.

Ich habe immer gedacht, dass Apple in einer guten Position ist, weil sie im Gegensatz zu ihren Mitbewerbern nicht Milliarden von Dollar verbrannt haben, um ein KI-Modell zu bauen, das keinen finanziellen Burggraben hat.

Ich denke immer noch, dass sie im Vergleich zu ihren Technologie-Peers gut dastehen, und wir werden noch mehr wissen, wenn einige der neuen Computer in die Hände einiger Technik-Reviewer gelangen.

Ich glaube, die neuen Computer werden hardwaremäßig ziemlich gut sein. Was mich interessiert, ist die Apple-Softwareunterstützung für die Verbindung mehrerer Mac-Computer sowie einige der anderen (neuen?) Software, die Apple möglicherweise intern geschrieben hat, um diejenigen zu unterstützen, die KI-Software lokal ausführen möchten – das ist genauso wichtig wie die neue Hardware.

Ich hoffe wirklich, dass Apple mit Ternus an der Spitze anfängt, sich daran zu erinnern, dass es auch Produkte außerhalb des iPhone gibt.

Ich habe den Eindruck, dass sie KI-Marketingpunkte wollen, aber nicht wirklich wollen, dass die Leute lokale KI auf ihren Produkten nutzen.

Ich habe keine Ahnung, warum. Sie könnten so erfolgreich sein, wenn sie sich auf lokale KI einlassen würden.

Nicht nur die High-End-Sachen. Das Neo ist bis Ende September im Budget-Bereich ausverkauft; es scheint ein Volltreffer für Highschool- und Collegestudenten zu sein.

Ich hoffe, Apple kann all dieses Geld nehmen und einige Stabilitäts-Releases machen, wie sie es früher getan haben. Fehler bei Dingen wie Familienfreigabe, das schmerzhafte "Update" der Einstellungen-App usw. könnten alle viel Liebe vertragen.

Die meisten dieser Leute werden enttäuscht sein, wenn sie erleben, dass Q4-Varianten dieser Modelle in Schleifen stecken bleiben.

Ich würde warten, bis die RAM-Krise vorbei ist, um eine zukünftige 64-GB-RAM-GPU zu holen, um Q8-Modelle auszuführen. Bis dahin Cloud-Inferenz.