Un modelo inverso reconstruye prompts casi exactos de un LLM en caja negra

Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction

Invertir un LLM para recuperar el prompt original se planteaba hasta ahora como una reconstrucción semántica: ajustar modelos secuencia a secuencia con grandes datasets y acceso a pesos o logits. Este trabajo propone un enfoque funcional en caja negra: entrenar desde cero un modelo de lenguaje inverso con datos sintéticos generados por el propio LLM objetivo, usando predicción del token anterior en lugar del siguiente. Así se obtienen reconstrucciones fieles y diversas mediante muestreo, con capacidad de transferencia entre modelos y mejores métricas que trabajos previos.

Análogamente a la predicción del siguiente token hacia delante, nuestro modelo inverso se entrena mediante predicción del token anterior, estableciendo un vínculo generativo entre los procesos directo e inverso que permite una reconstrucción fiel del prompt.

Más de este día

2026-11-19