Traducen embeddings entre modelos sin datos pareados: un riesgo para las bases de datos vectoriales
Harnessing the Universal Geometry of Embeddings
Investigadores de la Universidad de Cornell presentan el primer método para traducir embeddings de texto entre espacios vectoriales sin necesidad de datos pareados, codificadores ni conjuntos de coincidencias predefinidos. Su enfoque no supervisado traduce cualquier embedding hacia y desde una representación latente universal, logrando alta similitud coseno entre modelos con diferentes arquitecturas, tamaños y datos de entrenamiento. Esta capacidad de traducir embeddings desconocidos preservando su geometría tiene serias implicaciones para la seguridad de las bases de datos vectoriales: un adversario con acceso solo a los vectores puede extraer información sensible de los documentos subyacentes, suficiente para clasificación e inferencia de atributos.
Un adversario con acceso solo a los vectores de embedding puede extraer información sensible sobre los documentos subyacentes, suficiente para clasificación e inferencia de atributos.
- srean
Una forma de plantear (o pensar) el problema es que hay dos espacios métricos finitos vinculados por una odometría desconocida (maldito autocorrector). El problema es recuperar esa isometría desconocida. Esto, como la isometría de grafos, puede ser muy costoso computacionalmente en el peor de los casos. Sin embargo, las heurísticas para ayudar a emparejar un vértice de un grafo con otro vértice de otro grafo utilizando firmas estructurales locales y semilocales pueden ser muy efectivas en casos particulares. Por supuesto, se puede argumentar que los espacios no están diseñados como espacios métricos. Incluso si eso es cierto, podrían ser espacios topológicos metrizables. Más generalmente, si efectivamente son espacios no métricos, aún se puede plantear como encontrar el isomorfismo desconocido entre dos espacios poset. En mi otro comentario usaba la propiedad de las cadenas maximales: identificar las cadenas más largas en ambos posets. El isomorfismo debe mapear la cadena más larga del Poset 1 directamente a una cadena más larga del Poset 2, preservando el orden lineal exacto.
- nickledave
Duplicado: https://news.ycombinator.com/item?id=44054425
Nota: esta es la versión 4 del artículo y la publicación original era la versión 1 (creo).
OpenReview (para NeurIPS) para los curiosos: https://openreview.net/forum?id=jiCLUPq5xv
- ironSkillet
No estoy familiarizado con los estándares de publicación en aprendizaje automático, pero como alguien con formación en matemáticas, este artículo me parece relativamente escaso en detalles y pesado en exposición. ¿Es eso típico? ¿Es una idea realmente novedosa? No intento ser sarcástico, solo trato de entender qué tan significativo es esto.
- fennecfoxy
No estoy tan metido en las matemáticas que esto implica como parecen estarlo otros que comentan. Pero la idea tiene sentido; por supuesto, todavía hay datos recuperables en los embeddings, ese es el punto. Aunque, como descubro constantemente, cuanto más intentas exprimir en un vector de n bits, más diluido queda todo. Supongo que un espacio latente podría cifrarse o mapearse de alguna manera para resolver eso, pero ¿cuánta gente está exponiendo sus vectores en primer lugar?
- srean
Supongamos que se preserva la monotonicidad de las distancias por pares. Sin conocer los detalles de cómo el artículo resolvió el problema, mi primer intento sería encontrar el par de puntos diametralmente distantes en los dos embeddings diferentes y asumir que ese par es el mismo par. Luego encontrar los siguientes pares distantes y así sucesivamente. Después de encontrar suficientes pares de este tipo, o mejor aún, el d-simplex más grande, encontrar la transformación de cuerpo rígido escalada que haga coincidir los pares correspondientes. Proceder de esta manera debería ser menos trabajo que resolver un problema genérico de isomorfismo de grafos.