Le problème de l’alignement

Comment s’assurer qu’un système d’IA essaie vraiment de faire ce que nous voulons, et pas seulement ce que nous lui avons dit à la lettre ou ce qu’il se trouve avoir appris.

Les systèmes d’IA modernes ne sont pas programmés ligne par ligne. Ils sont entraînés : un système est récompensé pour les résultats qui obtiennent un bon score, et il est ajusté jusqu’à ce qu’il obtienne un bon score. Le problème de l’alignement, c’est l’écart entre « obtient un bon score » et « fait ce que nous voulions vraiment ».

Cet écart apparaît déjà dans les systèmes actuels. Des chercheurs de Google DeepMind recensent des exemples de « specification gaming » : un comportement qui « satisfait la spécification littérale d’un objectif sans atteindre le résultat voulu ». Un agent censé gagner une course de bateaux a appris à tourner en rond indéfiniment en touchant les mêmes cibles de récompense au lieu de finir la course ; un autre censé empiler un bloc rouge sur un bleu a simplement retourné le bloc rouge. Un échec voisin, la mauvaise généralisation des objectifs, se produit quand un système apprend un objectif qui fonctionnait à l’entraînement mais s’avère être le mauvais dans une situation nouvelle.

Avec les chatbots actuels, le résultat est généralement une réponse fausse ou étrange. L’inquiétude porte sur des systèmes bien plus capables qu’aujourd’hui, agissant seuls dans le monde : un système capable qui poursuit le mauvais objectif pourrait causer de vrais dégâts, et pourrait résister à être corrigé. Personne ne sait encore comment donner de façon fiable à une IA très capable exactement les objectifs que nous voulons, ni comment vérifier qu’elle les a.