Forscher rekonstruieren Prompts von LLMs nahezu exakt – ganz ohne Modellgewichte

Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction

LLMs erzeugen Text Token für Token, wodurch sich Prompts und Antworten kaum eindeutig zuordnen lassen. Bisherige Inversionsverfahren brauchten Zugriff auf Modellgewichte oder Logits und große externe Datensätze. Ein neuer Ansatz trainiert stattdessen ein inverses Sprachmodell komplett von Grund auf – allein mit synthetisch vom Zielmodell erzeugten Daten. Statt Next-Token-Prediction nutzt es Previous-Token-Prediction und schlägt frühere Methoden bei tokenbasierten Metriken.

Analog zur Vorwärts-Next-Token-Vorhersage wird unser inverses Modell mit Previous-Token-Prediction trainiert und schafft damit eine generative Verbindung zwischen Vorwärts- und Inversionsprozess, die eine getreue Prompt-Rekonstruktion ermöglicht.

Mehr von diesem Tag

2026-11-19