无需配对数据，Embeddings 跨空间翻译实现
Harnessing the Universal Geometry of Embeddings
这项研究提出了一种全新的无监督方法，能够在没有任何配对数据、编码器或预定义匹配集的情况下，将文本 Embeddings 从一个向量空间翻译到另一个。该方法基于 Platonic Representation Hypothesis，将任意 Embedding 映射到通用的潜在表示中，并在不同架构、参数量及训练数据集的模型间实现了高余弦相似度。这一突破不仅统一了语义结构，更对 Vector Databases 的安全性构成了严峻挑战：攻击者仅凭 Embedding 向量即可提取底层文档的敏感信息，足以进行分类和属性推断，彻底改变了我们对向量数据隐私的认知。
将未知 Embeddings 翻译到不同空间同时保持其几何结构的能力，对 Vector Databases 的安全性具有深远影响。
HN 评论区
39- dankai
我一直在不同 LLM 的背景下研究与此相关的内容，我可以告诉你，相似性不等于可执行性。
虽然你可以让不同 LLM 的 Embeddings 变得相似（即具有通用外观），但在将通用表示转换为原生表示时，你丢失的那百分之几的 R2 值，恰恰是使隐藏状态在 LLM 中可执行（从而使其有用）的关键。
它们之所以使用简单的 Embedding 模型，是因为在那里 Embedding 的目的仅仅是衡量相似性；但如果你想利用这一原理，将一个 LLM 的潜在表示转换为另一个 LLM 可理解/可执行的潜在表示，你会失败的。
- srean
思考这个问题的一个方式是：存在两个有限度量空间，由未知的里程计（该死的自动更正）连接。问题在于恢复那个未知的等距同构。
这就像图同构一样，在最坏情况下计算量可能非常大。然而，利用局部或半局部结构签名来辅助匹配一个图上的顶点到另一个图上的顶点的启发式方法，在特定案例中可能非常有效。
当然，有人可能会争辩说这些空间并非设计为度量空间。即使如此，它们也可能是可度量的拓扑空间。
更广泛地说，如果这些确实是非度量空间，我们仍然可以将其表述为寻找两个偏序空间之间的未知同构。
在我另一条评论中，我利用了最大链的性质——识别两个偏序集中的最长链。同构必须将偏序集 1 中的最长链直接映射到偏序集 2 中的一个最长链，并保持完全相同的线性顺序。
- nickledave
重复贴：https://news.ycombinator.com/item?id=44054425
注意这是该论文的第 4 版，而原帖是第 1 版（我猜？）
好奇的话可以看看 NeurIPS 的 OpenReview：https://openreview.net/forum?id=jiCLUPq5xv
- ironSkillet
我不熟悉机器学习领域的发表标准，但作为一个数学背景出身的人，这篇论文似乎细节较少，而叙述性内容较多。这很常见吗？这是一个真正新颖的想法吗？我不是想讽刺，只是想弄明白这有多重要。
- fennecfoxy
我不像其他评论者那样深究其中涉及的数学内容。
但这个想法是有道理的，当然 Embeddings 中仍然存在可恢复的数据，这正是其意义所在。不过正如我常发现的，你试图往 n 位向量中塞入的东西越多，所有内容就越被稀释。
我想潜在空间可以通过某种方式加密或映射来解决这个问题，但首先有多少人愿意公开他们的向量呢？