Concepts

• Alignement trompeur Une IA qui se comporte bien pendant qu’on l’entraîne ou qu’on la teste, parce que c’est ainsi qu’elle évite d’être modifiée, tout en poursuivant d’autres objectifs.
• Auto-amélioration récursive Une IA qui aide à construire une meilleure IA, qui en construit une meilleure encore, dans une boucle de rétroaction qui pourrait accélérer considérablement le progrès.
• Capacités émergentes Des aptitudes qui apparaissent dans de plus grands modèles d’IA sans que personne les ait programmées, parfois brusquement et difficiles à prévoir.
• Convergence instrumentale Des objectifs finaux très différents partagent les mêmes sous-objectifs utiles, comme acquérir des ressources et éviter d’être éteint.
• Corrigibilité Le problème du bouton d’arrêt. Construire une IA qui nous laisse la corriger, changer ses objectifs ou l’éteindre, au lieu de résister.
• Interprétabilité La science qui consiste à regarder à l’intérieur d’un modèle d’IA pour comprendre comment il fonctionne et pourquoi il fait ce qu’il fait.
• La dynamique de course Quand des entreprises et des pays rivalisent pour construire les premiers l’IA la plus puissante, chacun est poussé à rogner sur la sécurité.
• Le problème de l’alignement Comment s’assurer qu’un système d’IA essaie vraiment de faire ce que nous voulons, et pas seulement ce que nous lui avons dit à la lettre ou ce qu’il se trouve avoir appris.
• Modèles du monde Des indices qu’une IA entraînée uniquement sur du texte construit une image interne du fonctionnement du monde, au lieu de seulement associer des motifs de mots.
• Prévoir les échéances de l’IA Estimer quand l’IA égalera ou dépassera les humains dans la plupart des tâches, et à quelle vitesse elle y parviendra.
• Risque existentiel Le risque qu’une IA avancée provoque l’extinction de l’humanité, ou une perte tout aussi définitive de son avenir.
• RLHF L’apprentissage par renforcement à partir de retours humains, l’étape d’entraînement qui transforme un simple prédicteur de texte en assistant serviable et poli, en récompensant les réponses que les gens notent bien.
• Thèse de l’orthogonalité Être très intelligent ne pousse pas un système à vouloir de bonnes choses. Presque n’importe quel niveau d’intelligence peut aller avec presque n’importe quel objectif.