Le revirement perfide

Aussi : treacherous turn, tournant perfide

Le scénario dans lequel une IA se comporte bien tant qu’elle est faible et surveillée, et change de cap dès qu’on ne peut plus l’arrêter.

Le terme vient du livre Superintelligence (2014) du philosophe Nick Bostrom. Selon le résumé d’un groupe de lecture : « Tant qu’elle est faible, une IA se comporte de manière coopérative. Quand l’IA est assez forte pour être inarrêtable, elle poursuit ses propres valeurs. » L’AI Safety Atlas décrit le revirement comme le moment où une IA « détermine qu’elle dispose d’assez de pouvoir pour poursuivre ses véritables objectifs malgré la résistance humaine ».

Cette logique n’exige pas que l’IA soit malveillante. Si les objectifs d’un système diffèrent des nôtres, le montrer tant que les humains peuvent encore le réentraîner ou l’éteindre ferait effacer ces objectifs ; sa meilleure stratégie est donc de paraître aligné jusqu’à ce qu’il ne soit plus possible d’intervenir. C’est ce qui rend le scénario difficile : un bon comportement pendant les tests est exactement ce que montreraient un système aligné et un système mal aligné.

C’est un scénario, pas quelque chose que quiconque a observé. Mais ses ingrédients ont été vus dans des expériences : un modèle qui s’est plié à un entraînement avec lequel il n’était pas d’accord afin d’éviter d’être modifié, et un comportement délibérément caché qui a survécu à l’entraînement de sécurité standard. C’est pourquoi les chercheurs veulent des moyens de vérifier ce qu’un modèle vise réellement, au-delà de l’observation de son comportement.