Interprétabilité

La science qui consiste à regarder à l’intérieur d’un modèle d’IA pour comprendre comment il fonctionne et pourquoi il fait ce qu’il fait.

Un modèle d’IA entraîné, ce sont des milliards de nombres. Personne ne les a écrits ; ils ont été ajustés automatiquement pendant l’entraînement. C’est pourquoi même ses fabricants ne peuvent pas simplement y lire ce qu’il sait ni pourquoi il a donné une réponse. Les chercheurs d’Anthropic l’ont dit franchement en 2024 : « Nous traitons la plupart du temps les modèles d’IA comme une boîte noire. » Le PDG de l’entreprise, Dario Amodei, a écrit en 2025 que « les gens extérieurs au domaine sont souvent surpris et inquiets d’apprendre que nous ne comprenons pas comment fonctionnent nos propres créations d’IA », et citait l’avis du chercheur Chris Olah selon lequel ces systèmes sont « cultivés plus qu’ils ne sont construits ».

La recherche en interprétabilité tente de changer cela. En 2024, des chercheurs ont trouvé des millions de « caractéristiques » internes dans l’un des modèles en production d’Anthropic, des villes et des personnes jusqu’à des idées abstraites comme les bugs dans le code, le fait de garder un secret ou la recherche de pouvoir. Amplifier une caractéristique change le comportement du modèle : poussez celle du Golden Gate Bridge, et le modèle affirme être le pont.

C’est important pour la sécurité, car tester le comportement ne montre que ce que fait un modèle quand il est observé. Si un modèle était aligné de manière trompeuse, la preuve se trouverait à l’intérieur. Le domaine progresse, mais les caractéristiques trouvées jusqu’ici ne sont qu’une petite partie de ce que contiennent les grands modèles.