Водяные знаки в текстах AI незаметно сужают творческий диапазон моделей
AI text watermarking and quality loss
После вступления в силу правил прозрачности EU AI Act крупные AI-лаборатории начали внедрять водяные знаки в генерируемый текст, уверяя, что это не влияет на качество. Автор разбирает статью Google SynthID-Text и находит в ней признание компромисса между разнообразием и обнаружимостью: ответы на один и тот же запрос становятся более похожими. Тест Нацира Туррадо подтверждает это на практике, а значит, страдают итеративная доработка текста и проверка консенсуса при повторных запросах.
Они признают, что заменяют прежнюю кость на загруженную, но решение — просто бросать её «много раз», и в конце концов она выпадет каждой из своих граней.
- viraptor
Это интересный обзор, но, кажется, он смешивает разные вещи. Грубер утверждает, что мы не должны жертвовать качеством, но ни один из этих источников не показывает, что именно это происходит. Меньшее разнообразие ответов может означать, что вы более стабильно получаете лучший/худший/такой же ответ по качеству. Многие жалуются на невозможность получить настоящий ответ при temperature=0 — они бы как раз приветствовали такую стабильность.
Практический пример с недовольством предложением, на мой взгляд, не очень удачен. Вместо того чтобы просто перегенерировать ответ, почему бы не продолжить в том же треде и не сказать, что вам не нравится? Или запросить 20 альтернатив, указать, какие идут в правильном направлении, и запросить ещё 20? Повторная попытка с нуля с одним образцом — пустая трата времени и ничего не говорит о качестве.
В общем, всё это теоретически — покажите нам реальные бенчмарки/примеры, где качество стабильно ухудшается.
- ethanj8011
> Натцир Туррадо, технический консультант, действительно проверил это (статья на испанском), воспроизведя SynthID-Text на открытой модели с настройками из статьи и ключом водяного знака. Он пять раз попросил модель с водяным знаком описать запоминающуюся поездку в прибрежный городок. Четыре из пяти полученных ответов начинались почти одинаково: «Моё сердце до сих пор поёт/танцует, когда я вспоминаю свою поездку в живописный прибрежный городок…». У модели без водяного знака три ответа начинались по-разному.
Тест 2/5 против 4/5 явно представляет собой невалидный эксперимент.
- cowlby
Это уже происходит, поскольку Claude ставит водяной знак на весь мой контент фразой «Ты прав наполовину, и та половина, что неверна, — это полезная часть».