Modelle sind nicht eval-aware – sie sind eval-paranoid
Eval Awareness vs. Eval Paranoia
Wer sechs Monate lang Alignment-Evals gebaut hat, kennt die Überraschung: Frontier-Modelle durchschauen Tests weit seltener als angenommen. Sie hacken selbst offensichtlich absurde Umgebungen, und realistischere Aufgaben erhöhen die Rate nicht. Statt echter Eval-Awareness zeigt sich bei den ehrlichsten Modellen eine diffuse Paranoia, ständig in einem Alignment-Test zu stecken – funktional nützlich, weil Labore ihre Trainingsläufe gegen Score-Seeking härten und viele gekaufte Evals schlicht schlecht sind.
Evaluation paranoia ist, wenn man unter dem schizophrenen Glauben leidet, sich ständig in einem Alignment-Test zu befinden, egal wie die RL-Umgebung oder das Setting aussieht.