PTP:黑盒下近乎完美还原LLM提示词

Previous-Token Prediction Based LLM Inversion for Prompt Reconstruction

大型语言模型(LLM)通常通过自回归方式预测下一个token,导致从输出反推输入提示词(Prompt)变得异常困难。以往研究多依赖微调外部模型或访问模型权重,而PTP提出了一种全新的黑盒方案。该方法完全从零开始训练一个逆语言模型,利用“前一个token预测”机制,仅凭目标LLM生成的合成数据即可实现近乎精确的提示词重建。PTP不仅无需任何辅助数据,还能通过采样生成多种能引发相同响应的提示词,并在跨数据集和跨模型的场景中展现出强大的泛化能力,在各项基于token的评估指标上均优于现有方法。

我们提出了一种在无需任何辅助的情况下,以黑盒方式反转给定LLM的功能性方法。

同日更多故事

2026-11-19