Repetir una instrucción en el prompt de sistema ayuda, pero solo hasta cuatro veces
Say It Four Times (In Your System Prompt)
Un experimento con Gemini 2.5 Flash y 1,080 ejecuciones revela que repetir una regla en el prompt de sistema mejora el cumplimiento hasta cuatro veces, luego se estabiliza. El autor probó una regla de sintaxis (usar comillas simples en lugar de dobles) y encontró que una mención logra un 74% de cumplimiento, cuatro alcanzan el 97%, y más repeticiones no aportan nada. Además, descubrió que el modelo ignora las comillas triples de los docstrings, y que la variabilidad entre ejecuciones es alta, lo que cuestiona las evaluaciones de prompts con una sola prueba.
Si alguna vez has ajustado un prompt, lo has ejecutado dos veces y has concluido que el ajuste funcionó, este es el número que debería preocuparte.
- zknill
Me cansa leer tópicos de IA como "Deja de funcionar a la cuarta vez, y la media oculta para quién funcionó". Esto es Claude clásico, y me hace pensar que el autor no leyó, editó o invirtió en sus propias palabras.
- leecommamichael
> y la media oculta para quién funcionó.
Que te den. Ya no puedo ni pasar del puto subtítulo estos días.
- joaquincabezas
Beetlejuice Beetlejuice Beetlejuice… Beetlejuice