AnthropicのClaudeに埋め込まれる「透かし」は、文章の純粋さを損なう冒涜だ
Anthropic's 'Watermark' Text Adulteration in Claude Is a Perversion of Writing
AnthropicはEU規制への対応として、Claudeの全モデルが生成するテキストにステガノグラフィー方式の透かしを埋め込む計画を発表した。しかし、その手法は単語選択を統計的に偏らせるもので、意味や品質をわずかに劣化させる。著者は、この措置がユーザーの利益を無視し、誠実な利用者にのみ不利益をもたらすと批判する。また、規制自体も非現実的で、悪意あるユーザーは回避可能だと指摘する。
Anthropicは、私のニーズ以外の何かをテキスト生成に反映させるという考え自体が、明らかに不快だ。
HNでの議論
671- ghrl
私が最も懸念するのは、テキストに透かしが入っているかどうかを確認するには、テキスト全体をAnthropicに送信する必要があることだ。そして、それでも十分ではない。テキストがChatGPT、Gemini、Grok、Mistralなどで生成された可能性もあるからだ。
つまり、透かし検出APIを提供するAIプロバイダーが多ければ多いほど、各チェックでテキストを送信する必要があり、そのほとんどは、不正な手段でトレーニングデータを入手したという非常に疑わしい実績を持っている。
提出パイプラインでAI検出を使用する大学、またはAIマークをチェックする弁護士、論説者、校正者は、未発表の研究、書籍、場合によっては内部文書など、高品質の人間が書いたテキストの大部分を、何十ものAI企業に送信し、それらの企業がそのデータでトレーニングしないことを盲目的に信頼することになる。
- syrrim
> 私が使うLLMには、すべての決定ポイントで、最も優れた、最も正確な言葉を選んでほしい。
それなら悪い知らせだ：LLMはすでに根本的にランダム性を使っている。トークンを生成するたびに、まず可能なトークンの確率分布を生成する。そして、その分布に従ってランダムに1つを選ぶ。説明されている技法は、乱数生成器を擬似ランダムにするものと考えられる。生成される出力は、以前に生成された可能性のある出力の1つであり、今は決定的で、毎回同じものを生成するだけだ。
- voidUpdate
> 「書くときに選ぶ正確な言葉は重要だ。」
それなら、正確な言葉遣いがそんなに気になるなら、自分で文章を書けばいいだろう。
- levocardia
このような賢い人が、ガンベル・ソフトマックス技法を理解できていないのは驚きだ。この技法は、証明可能な形で、文章の品質にまったく影響を与えない。「次に最適なトークン」が100%の確実性で存在しないという事実こそが、このトリックが機能する理由だ（「最初のフォリオのハムレットから『生きるか死ぬか』の独白を返答せよ」という応答に透かしを入れることができないのは、まさにこの理由による）。
- ucha
> 「定義上、テキストを悪くしなければならない…なぜなら、透かしアルゴリズムの性質上、より悪い語彙の選択肢の確率を上げ、モデルの最良の選択肢の確率を下げることが必要だからだ。」
Gruberは努力したが、SynthIDがどのように機能するかを完全には理解していない。LLMは設定された確率分布から次の単語をランダムに選択するため、温度0でLLMを実行しない限り「最良の選択」は存在しない。温度0ではひどい結果になる。Anthropicは、トークンの基礎となる分布の確率を変えない、非歪曲バージョンのSynthIDを実行している。これにより、透かしは小さなサンプルでは機能しにくくなるが、テキスト品質は維持される。数学に興味がある人には、この論文を読むことを勧める：
- Imnimo
> 私が使うLLMには、すべての決定ポイントで、最も優れた、最も正確な言葉を選んでほしい。
著者は、現在ClaudeからT=0の出力を得ていると思っているのだろうか？T=0が「最良の」文章を生成すると思っているのだろうか？
この記事全体が、LLMの基本からかけ離れているように思える。
- carlosrg
Gruberは、LLMのテキスト生成の基本を本当に理解していないことをここで示している。彼がLLMの文章品質についてこの戦いを選んだのは奇妙だ。彼は自分の記事を書くためにLLMを使うつもりだったのか？
いや、実際にはそれほど奇妙ではない。彼はAppleが問題を起こして以来、EU発のものすべてに反感を持っているだけだ。もしEUが明日、世界に平和を望むと言ったら、彼は翌日にはFox Newsに出て侵攻を呼びかけるだろう。Daring Fireballの元読者として、ただ悲しい。
- smallerize
翻訳：誰も二度と、自分の散文の校正にClaudeを使うことはできない。全体がClaudeによって生成されたとフラグされるリスクを負わない限り。
それは意図的だったと思う。
- inigyou
> これに対する私の根本的な問題の1つは、同義語が完全に同じ意味を持つことはないということだ。「彼はチャンスに飛びついた」と「彼は機会に跳びついた」は、同じ一般的な感情を表す非常に似た文だが、同じではない。書くときに選ぶ正確な言葉は重要だ。
それなら、なぜLLMを使って書くのか？LLMはそんなニュアンスを理解できない。彼らは2つの同義のフレーズの間でランダムに選ぶだけで、最も良く聞こえるものを選ぶような超賢いアルゴリズムを使っているわけではない。
この言い訳はまったく通用しない。オッカムの剃刀によれば、著者は自分のAI文章がAI文章として識別可能になることにただ激怒しているだけだ。
- bccdee
> 「彼はチャンスに飛びついた」と「彼は機会に跳びついた」は、同じ一般的な感情を表す非常に似た文だが、同じではない。書くときに選ぶ正確な言葉は重要だ。私が使うLLMには、すべての決定ポイントで、最も優れた、最も正確な言葉を選んでほしい。
これらのどちらも「より良い」とか「より正確」というわけではない。実際、LLMは通常、温度に基づいてこれらの候補からランダムに選ぶ。そしてSynthIDは、デフォルトの温度設定がすでにしている以上にLLMの出力を歪めるべきではない。
それらが同じ文でないことには同意するが、その違いがあなたにとって重要なら、LLMを使うべきではない。この違いは、どちらがより良く聞こえ、より evocative であるかというレベルに存在する。LLMにとって、何かが聞こえたり、何かを喚起したりすることはない。彼らは単に良い散文を書かない。