Apple、AI需要でMac miniとMac Studioが想定外の品薄に

「AI需要」と言っても、ダウンロードした重みを持つLLMで推論を実行するだけではない。

私は自己対戦による強化学習でモデルを訓練している。スケールするときはvast.aiを使えるが、実験ではバグを全部見つけるまでローカルで実行する方がはるかに速く、安い。新しいインスタンスをプロビジョニングして関連するチェックポイントなどをコピーするだけで25分かかることがある。ローカルならゼロだ。

これらのローカルAIセットアップが、クラウドと比べて本当に有用なのか気になる。私は自分の持っているハードウェアから何か有用なものを引き出すのに苦労してきた。

自分はやや制約がある（16GB RX 9070）と分かっているが、それでも月20ドルの基本的なサブスクリプションで得られる体験とはかなりかけ離れているように思える。

何かヒントがあれば教えてほしい！ローカルファーストでありたいし、そのためにハードウェアを買うのも厭わない。

非常に大きな企業でさえ、予期せぬプロダクトマーケットフィットを見つけることができるのを見るのは面白い[0]。この記事によると、「同社にはビジネス顧客向けのエンジニアリングチームも、デベロッパーリレーションズに専念するスタッフもおらず、エンタープライズAI戦略も欠如していた」とのこと。振り返るとそれは非常識に聞こえるが、人々が実際に何を必要とし、何に使うかには本質的な不確実性があると思う。

[0]https://pmarchive.com/guide_to_startups_part4.html: 「素晴らしい市場—実際の潜在顧客がたくさんいる市場—では、市場がスタートアップから製品を引き出す... 製品は素晴らしい必要はない。基本的に機能すればいいのだ。」

Mac Miniは、AIブームの前は本当に素晴らしいHTPC候補でもあった。本当に便利で手頃なものはすべて、最新のゴールドラッシュを追いかける連中によって一般消費者の手から奪われてしまう。

何が起こっているのか、AppleがAIモデル構築で遅れているのか？ 過去2年の間にMacRumorsサイトでどこかで読んだと思うが、Appleは技術的な同業他社に遅れを取っており、Appleはドアを閉めてもいいかもしれないと。

私はずっと、Appleは同業他社とは異なり、金銭的な堀のないAIモデルを構築するために数十億ドルを燃やしていないので、良い位置にいると思っていた。

今でも、彼らは技術的な同業他社と比較して良い位置にいると思うし、新しいコンピュータのいくつかがテックレビュアーの手に渡れば、さらに多くのことが分かるだろう。

新しいコンピュータはハードウェア的にはかなり良いと思う。私が興味があるのは、複数のMacコンピュータを接続するためのAppleのソフトウェアサポートと、ローカルでAIソフトウェアを実行したい人々をサポートするためにAppleが社内で書いたかもしれない他の（新しい？）ソフトウェアだ。それは新しいハードウェアと同じくらい重要だ。

Ternusが指揮を執ることで、AppleがiPhone以外の製品もあることを思い出し始めることを本当に願っている。

彼らはAIのマーケティングポイントは欲しいが、実際には人々に自社製品でローカルAIを使ってもらいたくないという印象を受ける。

その理由は全く分からない。彼らがローカルAIに力を入れれば、とても成功するだろうに。

それらの人々のほとんどは、Q4バリアントのモデルがループに陥るのを経験したら失望するだろう。

RAM危機が終わるまで待って、Q8モデルを実行するための将来の64GB RAM GPUを手に入れるべきだ。それまではクラウド推論を使う。

ハイエンドのものだけではない。Neoは予算向けのエンドで9月下旬まで売り切れている。高校生や大学生に大ヒットしているようだ。

Appleがこの現金をすべて活用して、以前のように安定性リリースを行ってくれることを願っている。ファミリー共有などのバグや、設定アプリの痛ましい「アップデート」など、多くの改善の余地がある。