System-Prompt-Regel viermal wiederholen: Messung zeigt, danach bringt es nichts mehr
Say It Four Times (In Your System Prompt)
Ein Feldexperiment testet, ob das Wiederholen einer Regel im System-Prompt die Compliance von Gemini 2.5 Flash verbessert. Ergebnis: Einmal erwähnt, steigt die Einhaltung auf 74 %, viermal auf 97 %. Weitere Wiederholungen (8, 16) bringen keinen messbaren Gewinn. Der Autor fand zudem heraus, dass die Effekte stark von der Aufgabe abhängen und dass viele Ergebnisse bei 30 Wiederholungen wie Münzwürfe sind. Er teilt alle Daten und Code.
If your evaluation setup doesn’t record why generation stopped, it can hand you a confident wrong answer and never mention it.
- zknill
Ich bin es wirklich leid, diese KI-Sprüche zu lesen wie "Es funktioniert ungefähr beim vierten Mal nicht mehr, und der Durchschnitt verbirgt, für wen es funktioniert hat". Das ist typisch Claude und lässt mich denken, dass der Autor seine eigenen Worte nicht gelesen, bearbeitet oder sich damit auseinandergesetzt hat.
- leecommamichael
> und der Durchschnitt verbirgt, für wen es funktioniert hat.
Verpiss dich. Ich schaffe es heutzutage nicht einmal mehr durch den verdammten Untertitel.
- joaquincabezas
Beetlejuice Beetlejuice Beetlejuice… Beetlejuice