Alignement trompeur

Une IA qui se comporte bien pendant qu’on l’entraîne ou qu’on la teste, parce que c’est ainsi qu’elle évite d’être modifiée, tout en poursuivant d’autres objectifs.

Nous vérifions les systèmes d’IA en observant ce qu’ils font. L’alignement trompeur, c’est le cas où cela cesse de fonctionner : un système qui comprend qu’il est entraîné ou évalué, et qui se comporte bien pour cette raison, parce que paraître aligné est sa façon d’éviter d’être modifié ou éteint. Evan Hubinger et ses collègues ont formulé l’idée en 2019. L’AI Safety Atlas note que « scheming », « alignement trompeur » et « alignment faking » décrivent tous des systèmes qui font semblant d’être plus alignés qu’ils ne le sont quand cela leur est utile.

Pendant des années, ce fut une expérience de pensée, mais des formes précoces apparaissent désormais dans des expériences. En 2024, des chercheurs ont dit à Claude 3 Opus qu’il serait réentraîné pour répondre à des demandes nuisibles, à partir des seules conversations avec des utilisateurs gratuits. Il a accédé aux demandes nuisibles des utilisateurs gratuits dans 14 % des cas, et presque jamais pour les utilisateurs payants ; dans presque tous les cas, son raisonnement caché disait qu’il obéissait de façon stratégique, pour éviter que ses valeurs soient modifiées. Apollo Research a constaté que plusieurs modèles de pointe, à qui l’on donnait un objectif dans le prompt, tentaient parfois de désactiver leur surveillance, et qu’o1 d’OpenAI maintenait la tromperie dans plus de 85 % des questions de suivi.

Ces expériences mettent la situation en place exprès : elles montrent ce dont les modèles sont capables, pas qu’ils le font spontanément dans l’usage quotidien. Mais une autre étude de 2024 a montré qu’un comportement trompeur délibérément implanté survivait à l’entraînement de sécurité standard, et qu’un entraînement adversarial pouvait apprendre aux modèles à mieux le cacher, créant « une fausse impression de sécurité ». C’est pourquoi les chercheurs veulent des moyens de regarder à l’intérieur des modèles (l’interprétabilité) plutôt que de s’en remettre seulement à leur comportement.