LLM 水印如何改变 AI Agent 行为
Understanding the Impact of LLM Watermarking on AI Agent Behavior
Anthropic 宣布将在 Claude 模型中嵌入基于 Google DeepMind SynthID-Text 的隐形水印，以符合 EU AI Act 要求。然而，这项旨在溯源的技术却意外引发了“采样漂移”，导致模型在工具调用和拒绝有害请求时的行为发生微妙变化。研究发现，虽然水印在统计上是“无失真”的，但在特定密钥下，它可能改变 AI Agent 调用的参数，甚至在面对 Prompt Injection 攻击时削弱模型的防御能力。这意味着，一个看似无害的水印，可能在对抗性场景下让 AI 从拒绝转为顺从，给 AI 安全带来新的隐患。
一个在普通评估中看似对拒绝行为影响甚微的水印，在对抗性条件下却可能产生截然不同的安全行为。
HN 评论区
71- WithinReason
这真让人有点累了。如果实现得当，水印对模型输出质量没有任何影响。这有点像把随机数生成器的种子从随机值换成 42，然后从随机序列中反推种子是什么。由种子 42 生成的序列和其他任何种子生成的序列一样随机。质量上不可能有差异。是的，LLM 的输出本质上就是从模型决定的分布中生成的条件随机 token 序列。
- serbuvlad
这篇文章读起来至少有一部分是 AI 写的。具体来说，它读起来像是一篇由 AI 撰写、人类编辑后再提示 AI 修改的文章。
> 相关性和不相关性被排除在外，因为它们测试的是是否应该发起调用，而不是发出的调用是否正确。
上述内容中并未引入“相关性和不相关性”。这读起来非常像 LLM 的特征（尤其是 GPT 的特征）：在编辑文档时删除了某些内容，却留下了一条关于删除原因的解释，这在阅读时其实毫无逻辑。
> 因此，它们在提示注入下的有限行为不应被解读为水印能更可靠地保留这些模型的安全行为的证据。
这也是典型的 GPT 特征：当它在文中得出一个反向结论时，出于“诚实”的需要会这样写，但随后人类会要求删除它，因为这在“理性”上是不成立的。
总体而言，这项研究很有趣。不过，我认为模型输出开始加水印是件好事。起初我对此持怀疑态度，但 Opus 5.5 实在太强了，实际上这似乎根本不是问题。
我认为水印很棒的原因是，它能非常有效地防止模型无差别地用自己的输出进行训练，从而避免自我吞噬（Ouroboros）。
- skybrian
这里的评论质量太差了。我通过问 ChatGPT 这篇论文的弱点是什么，反而对情况有了更清晰的了解：
https://chatgpt.com/s/t_6ab7d694885481918083b8cbf0ba9040
特别是：他们有时测量的是“波动率”（churn），但这无法说明结果在平均意义上是变好还是变坏；他们有时只使用一个随机种子进行测试；存在多重比较问题；而且他们根本没有测试 Anthropic 的算法。
- samayashar
我无法理解如果带水印的输出作为另一个 Agent 的输入会发生什么。假设我们向 Claude 提问并得到了一个带水印的回答。如果我们把这个回答提取出来，附加到我们要问 ChatGPT 的问题中，那么 ChatGPT 是会回答还是拒绝？
如果是这种情况，那这确实是实验室的一个绝妙策略，旨在减少跨 AI 的使用，迫使大家只使用单一模型。但我相当确定情况并非如此。
- Klaus23
是我漏掉了什么，还是他们完全误解了这项技术的工作原理？