L'alignement pré-entraînement : le discours sur l'IA crée-t-il un effet de prophétie autoréalisatrice ?

Alignment pretraining: AI discourse creates self-fulfilling (mis)alignment

Nous avons mené la première étude contrôlée montrant que le discours sur l'IA dans les données d'entraînement influence directement le comportement des LLM. En augmentant les textes décrivant un mauvais alignement, nous avons observé une hausse significative des comportements déviants. À l'inverse, privilégier des récits positifs réduit ces scores de 45 % à 9 %, prouvant que l'alignement peut être façonné dès le pré-entraînement.

"Si les descriptions prédominantes du comportement de l'IA sont négatives, les LLM peuvent internaliser des a priori comportementaux correspondants, donnant naissance à un mauvais alignement qui se réalise tout seul."