Audio ARが静かに日常へ浸透する理由

TLDR: コンテキストが難しい。

良いコンテキストを得るには、ビデオデータが必要だ。良いビデオデータを得るには、カメラが必要で、しかも大量に、頭に載せなければならない。

頭に載せるには、小さくて軽くなければならない。

動かすにはバッテリーが必要だ。しかし、有線なしで得られる最大のバッテリーサイズは約1〜1.5ワット時だ。

そして、独自の無線プロトコルを作らない限り、ユーザー（iPhoneで）が確実に期待できる最大帯域幅は1メガビットだ。

つまり、周囲の世界を毎秒1メガビットに圧縮する必要がある。

さて、少し工夫すれば、アイトラッキングを使って実際に見ているもの（通常は64x64ピクセルの画像を毎秒15〜20フレーム）をセグメント化し、シーンが変わったときに時折広角ビューを使うことで、本を読むことさえ含めて、本当に良いコンテキストを構築できる。

しかし、コンテキストを得るには、良い位置データと部屋の分類も必要だ。GPSは十分に正確でなく、屋内ではあまりうまく機能しないので、実際には使えない。だから視覚オドメトリを使う。

それが全部揃ったら、次にその1Mbitストリームを理解して、必要な答えを知っているかどうかを判断するように機械を教えなければならない。しかもそれは約10〜15ワット時のデバイスで動作するか、パッチングネットワーク経由でビットボーイマシンにオフロードする必要がある。

つまり: https://www.projectaria.com/