埋め込みベクトルの普遍幾何学：ペアデータなしで異なるモデル間を翻訳する新手法
Harnessing the Universal Geometry of Embeddings
arXivに発表された論文「Harnessing the Universal Geometry of Embeddings」は、ペアデータやエンコーダー、事前定義されたマッチングを一切使わずに、テキスト埋め込みをあるベクトル空間から別のベクトル空間へ変換する初の教師なし手法を提案します。この手法は、Platonic Representation Hypothesisが提唱する普遍的な意味構造を利用し、異なるアーキテクチャ、パラメータ数、学習データを持つモデル間でも高いコサイン類似度を達成します。さらに、未知の埋め込みを変換可能にすることで、ベクトルデータベースのセキュリティに重大な影響を与える可能性を指摘。攻撃者が埋め込みベクトルのみから文書の機密情報を抽出し、分類や属性推論が可能になることを示します。
未知の埋め込みを異なる空間に変換し、その幾何学を保つ能力は、ベクトルデータベースのセキュリティに深刻な影響を及ぼします。
HNでの議論
39- srean
この問題を捉える（または考える）方法の一つは、未知の等長変換（オートコレクトめ）によって結ばれた二つの有限距離空間が存在するというものです。問題はその未知の等長変換を復元することです。これはグラフの等長変換と同様に、最悪の場合には非常に計算量が多くなり得ます。しかし、局所的・半局所的な構造的特徴を使って一方のグラフの頂点をもう一方のグラフの頂点に対応付けるヒューリスティックは、特定のケースでは非常に効果的です。もちろん、これらの空間が距離空間として設計されていないと主張することもできます。たとえそうだとしても、これらは距離化可能な位相空間かもしれません。より一般的には、これらが実際に非距離空間である場合でも、二つの半順序集合空間の間の未知の同型写像を見つける問題として定式化できます。私の別のコメントでは、極大鎖の性質を使っていました。両方の半順序集合で最長の鎖を特定します。同型写像は、半順序集合1の最長の鎖を半順序集合2の最長の鎖に直接写し、正確な線形順序を保たなければなりません。
- nickledave
重複: https://news.ycombinator.com/item?id=44054425
これは論文のバージョン4で、元の投稿はバージョン1だったと思います（たぶん）。
興味がある人のためのOpenReview（NeurIPS用）: https://openreview.net/forum?id=jiCLUPq5xv
- fennecfoxy
私は他のコメント投稿者ほどこの分野の数学に詳しくありません。
しかし、アイデアは理にかなっています。埋め込みにはまだ回復可能なデータがあるのは当然で、それがポイントです。ただし、nビットのベクトルに詰め込もうとすればするほど、すべてが薄まっていくのを常々感じています。
潜在空間を暗号化またはマッピングしてそれを解決できるかもしれませんが、そもそもどれだけの人が自分のベクトルを公開しているのでしょうか？
- ironSkillet
私は機械学習の出版基準に詳しくありませんが、数学のバックグラウンドを持つ者として、この論文は詳細よりも説明に重きを置いているように見えます。それは典型的なことですか？これは本当に斬新なアイデアですか？嫌味を言っているのではなく、これがどれほど意味があるのかを理解しようとしているだけです。
- srean
ペアごとの距離の単調性が保たれると仮定しましょう。
論文が問題をどう解決したかの詳細を知らなくても、私の最初の試みは、2つの異なる埋め込みで直径方向に遠い点のペアを見つけ、それが同じペアであると仮定することです。次に、次の遠いペアを見つけ、というように続けます。十分な数のペアが見つかったら、またはさらに良いのは、最大のd-単体を見つけたら、対応するペアが一致するようなスケーリングされた剛体変換を見つけます。このように進めれば、一般的なグラフ同型問題を解くよりも作業が少なくて済むはずです。