Anthropic behauptet, sein Text-Wasserzeichen schade der Qualität nicht – die eigene Quelle widerlegt das
AI text watermarking and quality loss
Nach den Transparenzvorgaben des EU AI Act wollen die großen AI-Labore ihre Textausgaben mit Wasserzeichen versehen. Anthropic und Google (SynthID-Text) beteuern, das beeinträchtige die Qualität nicht. Doch die 56-seitige Ergänzung zur Nature-Studie räumt einen Trade-off zwischen Vielfalt und Erkennbarkeit ein: Antworten auf denselben Prompt ähneln sich stärker. Getestet wurde das mit Menschen nie – dabei trifft es genau die Art der Nutzung, die zählt.
Es ist inakzeptabel, dass ein Werkzeug auch nur ein Quäntchen Klarheit, Kohärenz, Bedeutung oder Qualität opfert, um verborgene Hinweise auf seine Herkunft in den Text einzubetten.
- viraptor
Es ist eine interessante Rezension, aber sie scheint einiges durcheinanderzubringen. Grubers Behauptung ist, dass wir keine Qualität opfern sollten, aber keine dieser Quellen zeigt, dass genau das passiert. Weniger Vielfalt bei den Antworten könnte bedeuten, dass man konsistenter eine bessere/schlechtere/gleiche Qualität bekommt. Viele Leute beschweren sich darüber, keine echte Antwort mit temperature=0 zu bekommen – sie würden die Konsistenz tatsächlich begrüßen.
Das praktische Beispiel, den Satz nicht zu mögen, ist meiner Meinung nach nicht großartig. Anstatt die Antwort einfach neu auszuwürfeln, warum nicht in diesem Thread weitergehen und sagen, was einem nicht gefällt? Oder 20 Alternativen anfordern, sagen, welche in die richtige Richtung gehen, und 20 weitere anfordern? Von Grund auf mit einem einzigen Sample neu zu versuchen, ist Zeitverschwendung und sagt nichts über die Qualität aus.
Im Grunde ist alles theoretisch – zeigt uns die tatsächlichen Benchmarks/Samples, bei denen die Qualität konsistent verschlechtert wird.
- ethanj8011
> Natzir Turrado, ein technischer Berater, hat das tatsächlich getestet (Artikel auf Spanisch), indem er SynthID-Text auf einem offenen Modell mit den Einstellungen aus dem Paper und einem Wasserzeichen-Schlüssel reproduzierte. Er bat das mit Wasserzeichen versehene Modell fünfmal, eine unvergessliche Reise in eine Küstenstadt zu beschreiben. Vier der fünf Antworten, die er zurückbekam, begannen auf nahezu identische Weise: „Mein Herz singt/tanzt noch immer, wenn ich an meine Reise in die malerische Küstenstadt … zurückdenke“. Beim Modell ohne Wasserzeichen begannen drei auf unterschiedliche Weise.
Ein Test von 2/5 gegen 4/5 scheint ein offensichtlich ungültiges Experiment zu sein.
- cowlby
Das passiert bereits, da Claude all meine Inhalte mit „Du hast zur Hälfte recht, und die Hälfte, die falsch ist, ist der nützliche Teil“ mit einem Wasserzeichen versieht.