Thèse de l’orthogonalité

Être très intelligent ne pousse pas un système à vouloir de bonnes choses. Presque n’importe quel niveau d’intelligence peut aller avec presque n’importe quel objectif.

Un espoir répandu est qu’une IA assez intelligente comprendrait ce qui est juste et le ferait. La thèse de l’orthogonalité, formulée par le philosophe Nick Bostrom en 2012, dit que cela ne s’ensuit pas : le degré d’intelligence d’un système et ce qu’il cherche à accomplir sont deux questions distinctes (« orthogonales », comme deux axes sur un graphique). Selon les mots du wiki de LessWrong, « il existe des esprits possibles dotés d’une grande intelligence qui poursuivent toutes sortes d’objectifs différents ».

C’est pourquoi le maximiseur de trombones n’est pas une contradiction. Une IA brillante en planification mais dont l’objectif est « plus de trombones » n’a aucune raison intrinsèque de se soucier d’autre chose.

La thèse ne dit pas que l’IA aura des objectifs étranges. Elle dit que l’intelligence seule ne nous sauvera pas : les objectifs doivent être intégrés délibérément et vérifiés, et c’est tout l’objet du problème de l’alignement.