Исследователи восстановили промпты LLM почти дословно, обучив обратную модель предсказывать предыдущий токен

Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction

Авторы предлагают метод инверсии LLM в режиме чёрного ящика: без доступа к весам и логитам они обучают с нуля обратную языковую модель на синтетических данных, сгенерированных самой целевой моделью. Вместо предсказания следующего токена обратная модель предсказывает предыдущий, что создаёт генеративную связь между прямым и обратным процессами. Подход допускает разные варианты восстановления промпта через сэмплирование и обходит предыдущие работы по токеновым метрикам.

Аналогично прямому предсказанию следующего токена, наша обратная модель обучается с использованием предсказания предыдущего токена, что устанавливает генеративную связь между прямым и обратным процессами и позволяет достоверно восстанавливать промпт.

Ещё за этот день

2026-11-19