임베딩 벡터만으로 문서 내용을 훔치는 공격, 최초로 성공
Harnessing the Universal Geometry of Embeddings
Rishi Jha, Collin Zhang, Vitaly Shmatikov, John X. Morris 연구진이 arXiv에 발표한 논문에서, 서로 다른 모델 간에 임베딩을 번역하는 최초의 비지도 학습 방법을 소개합니다. 이 방법은 쌍을 이루는 데이터나 인코더 없이도 임의의 임베딩을 보편적인 잠재 표현으로 변환하며, 서로 다른 구조와 파라미터 수, 학습 데이터를 가진 모델들 간에도 높은 코사인 유사도를 달성합니다. 이는 벡터 데이터베이스의 보안에 심각한 위협이 될 수 있습니다. 공격자가 임베딩 벡터에만 접근할 수 있어도 문서의 민감한 정보를 추출하고 분류하거나 속성을 유추할 수 있기 때문입니다.
공격자는 임베딩 벡터에만 접근할 수 있어도 기본 문서에 대한 민감한 정보를 추출할 수 있으며, 이는 분류와 속성 추론에 충분합니다.
HN 토론
39- srean
문제를 (생각하는) 한 가지 방법은 두 개의 유한 거리 공간이 알 수 없는 odometry(젠장, 자동 완성)로 연결되어 있다고 보는 것입니다. 문제는 그 알 수 없는 등거리 변환(isometry)을 복구하는 것입니다.
이것은 그래프 등거리 변환과 마찬가지로 최악의 경우 매우 계산 집약적일 수 있습니다. 그러나 지역적, 반지역적 구조적 시그니처를 사용하여 한 그래프의 한 정점을 다른 그래프의 다른 정점에 매칭하는 휴리스틱은 특정 경우에 매우 효과적일 수 있습니다.
물론 공간이 거리 공간으로 설계되지 않았다고 주장할 수도 있습니다. 사실이라 하더라도, 이들은 가분 거리화 가능한 위상 공간일 수 있습니다.
더 일반적으로, 실제로 비-거리 공간이라면 두 부분 순서 집합(poset) 공간 사이의 미지의 동형 사상(isomorphism)을 찾는 문제로 볼 수도 있습니다.
제 다른 댓글에서 저는 극대 사슬(maximal chain)의 속성을 사용했습니다. 두 poset에서 가장 긴 사슬을 식별하는 것입니다. 동형 사상은 Poset 1의 가장 긴 사슬을 Poset 2의 가장 긴 사슬에 직접 매핑해야 하며, 정확한 선형 순서를 보존해야 합니다.
- nickledave
중복: https://news.ycombinator.com/item?id=44054425
참고로 이것은 논문의 4번째 버전이고 원래 게시물은 1번째 버전이었습니다(제 생각에).
관심 있는 분들을 위한 OpenReview(NeurIPS용): https://openreview.net/forum?id=jiCLUPq5xv
- ironSkillet
저는 머신러닝 분야의 출판 기준에 익숙하지 않지만, 수학 배경에서 훈련받은 사람으로서 이 논문은 세부 사항은 상대적으로 부족하고 설명에 치중한 것 같습니다. 이것이 일반적인가요? 이것이 정말 새로운 아이디어인가요? 비꼬려는 것이 아니라 이것이 얼마나 의미 있는지 이해하려는 것입니다.
- fennecfoxy
저는 다른 댓글러들만큼 여기에 관련된 수학적 내용에 깊지 않습니다.
하지만 그 아이디어는 이치에 맞습니다. 물론 임베딩에는 여전히 복구 가능한 데이터가 있습니다. 그것이 요점이니까요. 하지만 n비트 벡터에 더 많이 압축하려고 할수록 모든 것이 더 희석되는 것 같습니다.
잠재 공간을 암호화하거나 어떤 방식으로 매핑하여 그 문제를 해결할 수 있을 것 같지만, 얼마나 많은 사람들이 처음부터 자신의 벡터를 노출하고 있을까요?
- srean
쌍별 거리의 단조성이 보존된다고 가정합시다.
논문이 문제를 어떻게 해결했는지 자세히 알지 못하지만, 제 첫 시도는 두 다른 임베딩에서 지름상으로 먼 점 쌍을 찾고 그 쌍이 같은 쌍이라고 가정하는 것입니다. 그런 다음 다음으로 먼 쌍을 찾는 식으로 진행합니다.
충분히 많은 그러한 쌍을 찾은 후, 또는 더 나은 경우 가장 큰 d-단체(simplex)를 찾은 후, 해당 쌍들이 일치하도록 하는 스케일된 강체 변환을 찾습니다. 이런 식으로 진행하는 것이 일반적인 그래프 동형 문제를 푸는 것보다 덜 힘들어야 합니다.