Apple、プライベートな個人データでAIを訓練すると表明
Apple wants to train AI on your private personal data
Appleは、Googleと共同で開発した第3世代のApple Foundation Models（AFM）を発表した。オンデバイスとPrivate Cloud Compute上のサーバーベースのモデルを含む5つのモデルで構成される。訓練には公開情報やライセンスデータ、合成データを使用し、ユーザーのプライベートな個人データやインタラクションは使用しないと明言。AFM 3 Cloudは前世代から大幅な性能向上を果たし、画像理解やテキスト生成で高い評価を得ている。
私たちは、基盤モデルの訓練にユーザーのプライベートな個人データやユーザーインタラクションを使用しません。
HNでの議論
19- EAtmULFO
また変わったのか？
「当社は、基盤モデルのトレーニングにユーザーのプライベートな個人データやユーザーインタラクションを使用しません。また、ウェブパブリッシャーが基盤モデルのトレーニングをオプトアウトする権利も尊重します。」
- MattDamonSpace
記事を読んだ限りでは、タイトルは誤解を招くか、完全に間違っているように思える。
- nojs
アーキテクチャについて：
> モデル全体をDRAMに強制的に収める代わりに、完全なモデルはフラッシュメモリ（NAND）に保存される。標準的なMoEモデルが要求するように、NANDからDRAMへの帯域幅はトークンごとに重みをスワップするには遅すぎるため、AFM 3 Core Advancedはプロンプトごとにルーティング決定を行う。軽量な密なブロックが初期処理中に固定のエキスパートセットを選択し、生成中に定期的にそれらを再選択する。データ移動を最小限に抑えるため、モデルは常時アクティブな「共有エキスパート」の高い割合と、必要に応じてDRAMにスワップされる入力依存の「ルーティングされたエキスパート」に依存している。
これはMoEと完全に別個のドメイン特化モデルを管理することの間の興味深いハイブリッドだ。エキスパートを一度選択し、それらをメモリに持ち込み、再評価する前に一定期間推論を実行する。すべてのエキスパートをメモリに持つ必要がなくなるが、クエリごとにモデル全体を選択するだけよりも優れている。なぜなら、重なり合い、興味深い方法で組み合わさる多数の小さな不透明なエキスパートが存在するからだ。
これを行うことで品質は大幅に低下する可能性が高いが、モデルサイズの無限のスケーリングを可能にするため興味深い。