Anthropicの不可視ウォーターマークがAIエージェントの行動を変える——ツール呼び出しと拒否に「サンプリングドリフト」
Understanding the Impact of LLM Watermarking on AI Agent Behavior
AnthropicがClaudeに導入した不可視ウォーターマークは、Google DeepMindのSynthID-Textに基づく。Lasso Securityの検証によると、この透かしはトークン選択を変え、エージェントのツール呼び出しや有害リクエストの拒否行動に影響を与える。ツール呼び出しの正誤は平均6.5%変動し、プロンプトインジェクション下ではgemma-3-27bの拒否率が最大23.5%変化。ウォーターマークが安全機構を弱める可能性を示唆する。
通常の評価では拒否行動にほとんど影響がないように見えるウォーターマークが、敵対的条件下では実質的に異なる安全行動を生み出す可能性がある。
HNでの議論
71- WithinReason
これはもううんざりだ。ウォーターマークは正しく実装されていればモデルの出力品質に何の影響も与えない。例えるなら、ランダムなRNGシードをシード42に差し替えて、ランダムな数列からそのシードが何だったかを検出するようなものだ。シード42から生成された数列は、他のどのシードから生成された数列と比べても同じくらいランダムだ。品質に違いが生じるはずがない。そう、LLMの出力とは、モデルによって決まる分布から条件付きでサンプリングされたランダムなトークン列なのだから。
- serbuvlad
この記事は少なくとも一部はAIによって書かれたように読める。具体的には、AIが書いた記事に人間がさらにAIへプロンプトを投げて編集を加えたような読み口だ。
> 関連性と無関連性は、発行された呼び出しが正しいかどうかではなく、呼び出しを行うべきかどうかをテストするものであるため、除外されている。
関連性と無関連性はこのコメントより前で導入されていない。これはLLM的（特にGPT的）な癖で、文書を編集して何かを削除し、なぜ削除したかのメモを残す、というものだが、読んでいてあまり意味が通らない。
> したがって、プロンプトインジェクション下での彼らの限られた動きは、ウォーターマークがこれらのモデルにおいて安全性の挙動をより確実に保つ証拠と解釈されるべきではない。
これもGPT的な癖で、テキスト内で反対の結論を導き出すときに現れる。誠実であろうと感じて反対の結論を出し、人間が「理由」があるからそれは正しくないと伝えて削除させる、という流れだ。
全体として興味深い研究だが、モデルの出力にウォーターマークが付くようになるのは素晴らしいことだと思う。最初は懐疑的だったが、Opus 5.5はあまりに優れているので、実際には問題にならないようだ。
ウォーターマークが素晴らしいと思う理由は、自分自身の出力を無差別に学習してウロボロス化することを防ぐ、とても良い方法だからだ。
- skybrian
ここでのコメントはひどい。ChatGPTにこの論文の弱点は何かと尋ねたほうが、何が起きているかをよく理解できた：
https://chatgpt.com/s/t_6ab7d694885481918083b8cbf0ba9040
特に：彼らは時に「チャーン」を測定しているが、これは結果が平均的に良いのか悪いのかを示さない。時にランダムシードを1つだけでテストしている。多重比較の問題がある。そして彼らはAnthropicのアルゴリズムをテストしていない。
- samayashar
ウォーターマークされた出力が別のエージェントへの入力になった場合に何が起きるのか、私には理解できない。たとえば、Claudeに質問してウォーターマーク付きの回答を得たとしよう。その回答を選んで、ChatGPTに尋ねる質問に付け加えたら、ChatGPTは答えるのか、それとも拒否するのか？
もしそうなら、ラボにとってはクロスAI利用を減らして1つのモデルに留まらせる、見事な戦略だ。だが、そうはならないと確信している。
- Klaus23
私が何か見落としているのだろうか、それとも彼らはこの技術の仕組みを完全に誤解しているのだろうか？