Перевод эмбеддингов между моделями без парных данных: новая атака на векторные базы
Harnessing the Universal Geometry of Embeddings
Исследователи из Cornell Tech представили первый метод перевода текстовых эмбеддингов из одного векторного пространства в другое без парных данных, энкодеров или заранее заданных соответствий. Их неконтролируемый подход преобразует эмбеддинги в универсальное латентное представление и обратно, достигая высокой косинусной близости между моделями с разной архитектурой, числом параметров и обучающими наборами. Авторы подчёркивают серьёзные последствия для безопасности векторных баз данных: злоумышленник, имеющий доступ только к векторам эмбеддингов, может извлекать конфиденциальную информацию о документах, достаточную для классификации и атрибутивного вывода.
Способность переводить неизвестные эмбеддинги в другое пространство, сохраняя их геометрию, имеет серьёзные последствия для безопасности векторных баз данных.
- srean
Один из способов поставить/рассмотреть эту задачу — представить, что есть два конечных метрических пространства, связанных неизвестной одометрией (чёртов автозаменщик). Задача — восстановить эту неизвестную изометрию. Это, как и изометрия графов, в худшем случае может быть очень вычислительно затратно. Однако эвристики, помогающие сопоставить одну вершину одного графа с другой вершиной другого графа, используя локальные и полулокальные структурные сигнатуры, могут быть очень эффективны в частных случаях. Можно, конечно, утверждать, что пространства не задуманы как метрические. Но даже если это так, они могут быть метризуемыми топологическими пространствами. В более общем случае, если это действительно неметрические пространства, задачу всё равно можно поставить как поиск неизвестного изоморфизма между двумя частично упорядоченными множествами. В моём другом комментарии я использовал свойство максимальных цепей: найти самые длинные цепи в обоих частично упорядоченных множествах. Изоморфизм должен отображать самую длинную цепь в частично упорядоченном множестве 1 непосредственно в самую длинную цепь в частично упорядоченном множестве 2, сохраняя точный линейный порядок.
- nickledave
Дубль: https://news.ycombinator.com/item?id=44054425
Обратите внимание, это версия 4 статьи, а оригинальный пост был версией 1 (я думаю?)
OpenReview (для NeurIPS) для любопытных: https://openreview.net/forum?id=jiCLUPq5xv
- ironSkillet
Я не знаком со стандартами публикаций в машинном обучении, но как человек с математическим образованием, эта статья кажется мне относительно бедной на детали и богатой на объяснения. Это типично? Это действительно новая идея? Не пытаюсь быть язвительным, просто пытаюсь понять, насколько это значимо.
- fennecfoxy
Я не так силён в математике, как другие комментаторы, судя по их комментариям. Но идея имеет смысл: конечно, в эмбеддингах остаются восстанавливаемые данные, в этом и суть. Хотя я постоянно замечаю, что чем больше пытаешься втиснуть в n-битный вектор, тем более размытым всё становится. Полагаю, латентное пространство можно каким-то образом зашифровать/отобразить, чтобы решить эту проблему, но сколько людей вообще выставляют свои векторы наружу?
- srean
Предположим, что монотонность попарных расстояний сохраняется. Не зная деталей того, как статья решает эту проблему, моей первой попыткой было бы найти диаметрально противоположные пары точек в двух разных эмбеддингах и предположить, что это одна и та же пара. Затем найти следующие далёкие пары и так далее. После того как найдено достаточно таких пар, или, что ещё лучше, найден наибольший d-симплекс, найти то масштабированное преобразование твёрдого тела, которое заставляет соответствующие пары совпасть. Действуя так, должно быть меньше работы, чем решение общей задачи изоморфизма графов.