Исследователи восстановили промпты LLM почти дословно, обучив обратную модель предсказывать предыдущий токен
Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction
Авторы предлагают метод инверсии LLM в режиме чёрного ящика: без доступа к весам и логитам они обучают с нуля обратную языковую модель на синтетических данных, сгенерированных самой целевой моделью. Вместо предсказания следующего токена обратная модель предсказывает предыдущий, что создаёт генеративную связь между прямым и обратным процессами. Подход допускает разные варианты восстановления промпта через сэмплирование и обходит предыдущие работы по токеновым метрикам.
Аналогично прямому предсказанию следующего токена, наша обратная модель обучается с использованием предсказания предыдущего токена, что устанавливает генеративную связь между прямым и обратным процессами и позволяет достоверно восстанавливать промпт.