El marcado de agua de Anthropic reduce la diversidad de las respuestas de Claude
AI text watermarking and quality loss
Tras las normas de transparencia del AI Act europeo, los grandes laboratorios empiezan a marcar el texto que generan. Anthropic afirma que el marcado de agua no afecta a la calidad de Claude, pero el artículo en el que se basa (SynthID-Text de Google) reconoce un compromiso entre diversidad y detectabilidad: las respuestas a un mismo prompt se parecen más entre sí. Esto perjudica tareas creativas, la selección de la mejor respuesta y la estimación de confianza por consenso. Un experimento con un modelo abierto lo confirma: cuatro de cinco respuestas marcadas abrían casi igual.
Es inaceptable que una herramienta sacrifique una pizca de claridad, coherencia, significado o calidad para incrustar pistas ocultas en el texto que sugieran su procedencia.
- viraptor
Es una reseña interesante, pero parece mezclar algunas cosas. La afirmación de Gruber es que no deberíamos sacrificar la calidad, pero ninguna de esas fuentes demuestra que eso sea lo que está pasando. Tener menos diversidad en las respuestas podría significar que estás obteniendo de forma más consistente una respuesta de mejor/peor/igual calidad. Hay mucha gente quejándose de no poder obtener una respuesta real con temperature=0; de hecho, ellos recibirían con gusto esa consistencia.
El ejemplo práctico de no gustarle la frase no me parece muy bueno. En lugar de simplemente volver a tirar la respuesta, ¿por qué no continuar en ese hilo y decir qué es lo que no te gusta? ¿O pedir 20 alternativas, decir cuáles van en la dirección correcta y pedir 20 más? Reintentar desde cero con una sola muestra es una pérdida de tiempo y no indica nada sobre la calidad.
Básicamente, todo es teórico: muéstranos los benchmarks/muestras reales donde la calidad se degrada de forma consistente.
- ethanj8011
> Natzir Turrado, un consultor técnico, de hecho probó esto (artículo en español) reproduciendo SynthID-Text en un modelo abierto con los ajustes del paper y una clave de marca de agua. Le pidió cinco veces al modelo con marca de agua que describiera un viaje memorable a un pueblo costero. Cuatro de las cinco respuestas que recibió abrían de una forma casi idéntica: "Mi corazón todavía canta/baila cuando recuerdo mi viaje al pintoresco pueblo costero de…". Para el modelo sin marca de agua, tres abrieron de formas distintas.
Una prueba de 2/5 frente a 4/5 parece un experimento obviamente inválido.
- cowlby
Esto ya pasa: Claude marca todo mi contenido con "Tienes razón a medias, y la mitad que está mal es la parte útil".