LLMのプロンプトをブラックボックスからほぼ完全に復元する新手法
Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction
LLMは次のトークンを自動回帰的に生成するため、プロンプトと応答の対応は多対多になり、出力からプロンプトを逆算するのは難しい。既存研究は大規模データでのファインチューニングやモデルの重み・logitsへのアクセスを前提としていたが、本研究は対象LLMが生成した合成データだけを用い、逆方向の言語モデルをゼロから学習する。次トークン予測に対応する「前トークン予測」で学習することで、ブラックボックス設定でも忠実なプロンプト復元を可能にし、既存手法を上回る精度を示した。
次トークン予測の順方向処理に倣い、我々の逆モデルは前トークン予測を用いて学習され、順方向と逆方向のプロセス間に生成的な結びつきを確立することで、忠実なプロンプト復元を可能にする。