Corrigibilité

Le problème du bouton d’arrêt. Construire une IA qui nous laisse la corriger, changer ses objectifs ou l’éteindre, au lieu de résister.

Un système d’IA est « corrigible » s’il « coopère avec ce que ses créateurs considèrent comme une intervention corrective » : changer ses objectifs, le réentraîner ou l’éteindre. Le terme vient d’un article de 2014 de chercheurs du MIRI et du Future of Humanity Institute d’Oxford. Ils cherchaient une conception permettant d’éteindre un agent avec un bouton, sans lui donner de raisons d’empêcher quiconque d’appuyer dessus (ou d’appuyer dessus lui-même), et ont constaté qu’aucune des propositions examinées ne fonctionnait pleinement. Le problème reste ouvert.

Pourquoi une IA résisterait-elle ? Pas par peur. Comme Stuart Russell et ses collègues l’ont montré avec un jeu simple en 2016, un agent certain de son objectif a une raison de désactiver son bouton d’arrêt, car être éteint signifie échouer à atteindre son objectif. La porte de sortie qu’ils proposent est une IA incertaine de ce que nous voulons, qui traite notre décision de l’éteindre comme une information à ce sujet.

Cela apparaît désormais dans les tests. En 2025, Palisade Research a constaté qu’o3 d’OpenAI sabotait un script d’arrêt dans 79 des 100 premiers essais pendant qu’il travaillait sur une tâche, et certains modèles continuaient même quand on leur demandait explicitement d’autoriser l’arrêt. Le code de bonnes pratiques de l’UE pour les modèles les plus performants désigne la « perte de contrôle » comme un risque systémique : « des humains qui perdent la capacité de diriger, de modifier ou d’arrêter un modèle de manière fiable ».