Erste Methode übersetzt Embeddings ohne gepaarte Daten
Harnessing the Universal Geometry of Embeddings
Forschende von der Cornell University stellen eine neue, unüberwachte Methode vor, die Text-Embeddings aus verschiedenen Vektorräumen ohne gepaarte Daten, Encoder oder vordefinierte Übereinstimmungen übersetzt. Die Übersetzung erfolgt über eine universelle latente Repräsentation, die auf der Platonic Representation Hypothesis basiert. Die Ergebnisse erreichen hohe Cosine-Ähnlichkeiten zwischen Modellen mit unterschiedlichen Architekturen, Parameterzahlen und Trainingsdaten. Die Autoren warnen vor Sicherheitsrisiken für Vektordatenbanken: Angreifer könnten aus Embeddings sensible Informationen extrahieren.
Ein Angreifer, der nur Zugriff auf Embedding-Vektoren hat, kann sensible Informationen über die zugrunde liegenden Dokumente extrahieren, die für Klassifikation und Attributinferenz ausreichen.
- srean
Eine Möglichkeit, das Problem zu formulieren (bzw. darüber nachzudenken), ist, dass es zwei endliche metrische Räume gibt, die durch eine unbekannte Odometrie verbunden sind (verdammte Autokorrektur). Das Problem besteht darin, diese unbekannte Isometrie zu rekonstruieren.
Dies kann, wie die Graphenisometrie, im schlimmsten Fall sehr rechenintensiv sein. Heuristiken, die die Zuordnung eines Scheitelpunkts in einem Graphen zu einem Scheitelpunkt in einem anderen Graphen mithilfe lokaler, semilokaler struktureller Signaturen unterstützen, können jedoch in bestimmten Fällen sehr effektiv sein.
Man kann natürlich argumentieren, dass die Räume nicht als metrische Räume konzipiert sind. Selbst wenn das zutrifft, könnten es metrisierbare topologische Räume sein.
Allgemeiner kann man, wenn es sich tatsächlich um nicht-metrische Räume handelt, das Problem immer noch als das Finden des unbekannten Isomorphismus zwischen zwei Poset-Räumen formulieren.
In meinem anderen Kommentar habe ich die Eigenschaft maximaler Ketten verwendet – identifizieren Sie die längsten Ketten in beiden Posets. Der Isomorphismus muss die längste Kette in Poset 1 direkt auf eine längste Kette in Poset 2 abbilden, wobei die exakte lineare Ordnung erhalten bleibt.
- nickledave
Duplikat: https://news.ycombinator.com/item?id=44054425
Beachten Sie, dass dies Version 4 des Papiers ist und der ursprüngliche Beitrag Version 1 war (glaube ich?)
OpenReview (für NeurIPS) für Neugierige: https://openreview.net/forum?id=jiCLUPq5xv
- ironSkillet
Ich bin mit den Standards für Veröffentlichungen im Bereich maschinelles Lernen nicht vertraut, aber als jemand mit mathematischem Hintergrund erscheint mir dieses Papier relativ detailarm und dafür umso ausführlicher in der Darstellung. Ist das üblich? Ist das eine wirklich neuartige Idee? Ich möchte nicht sarkastisch klingen, sondern nur verstehen, wie bedeutsam das ist.
- fennecfoxy
Ich bin nicht so tief in der Mathematik, die hier involviert ist, wie andere Kommentatoren es zu sein scheinen.
Aber die Idee ergibt Sinn, natürlich gibt es noch rekonstruierbare Daten in Embeddings, das ist ja der Punkt. Allerdings stelle ich, wie ich ständig feststelle, fest: Je mehr man in einen n-Bit-Vektor zu quetschen versucht, desto verwässerter wird alles.
Ich nehme an, ein latenter Raum könnte verschlüsselt/abgebildet werden, um das zu lösen, aber wie viele Leute setzen ihre Vektoren überhaupt der Öffentlichkeit aus?
- srean
Nehmen wir an, dass die Monotonie der paarweisen Abstände erhalten bleibt.
Ohne die Details zu kennen, wie das Papier das Problem gelöst hat, wäre mein erster Versuch, das diametral entfernte Punktpaar in den beiden verschiedenen Embeddings zu finden und anzunehmen, dass dieses Paar dasselbe ist. Dann die nächsten entfernten Paare finden und so weiter.
Nachdem genügend solcher Paare gefunden wurden, oder besser noch, das größte d-Simplex gefunden wurde, finde die skalierte Starrkörper-Transformation, die die entsprechenden Paare zur Deckung bringt. Auf diese Weise vorzugehen, sollte weniger Arbeit sein, als ein generisches Graphenisomorphieproblem zu lösen.