Modèles du monde

Des indices qu’une IA entraînée uniquement sur du texte construit une image interne du fonctionnement du monde, au lieu de seulement associer des motifs de mots.

Un modèle du monde est une représentation interne de la façon dont les choses sont et fonctionnent, qu’un système peut utiliser pour prédire ce qui va se passer. La question est de savoir si les modèles de langage en ont un, ou seulement des statistiques sur les mots qui ont tendance à en suivre d’autres.

Plusieurs études ont regardé à l’intérieur de modèles et y ont trouvé de telles représentations. Un modèle entraîné uniquement sur des listes de coups du jeu de plateau Othello, sans qu’on lui montre jamais de plateau, s’est révélé suivre le plateau en interne, et modifier ce plateau interne changeait les coups qu’il prédisait (Li et al., 2023). Des modèles Llama-2 représentaient l’endroit où se trouvent des lieux et le moment où des événements ont eu lieu, avec des « neurones de l’espace » et des « neurones du temps » individuels (Gurnee et Tegmark, 2023). Anthropic a constaté que Claude, interrogé sur la capitale de l’État où se trouve Dallas, représente d’abord « Texas » puis « Austin », et qu’en écrivant un poème rimé il choisit le mot qui rime avant d’écrire le vers.

Ce sont des modèles partiels, pas une compréhension complète, et l’AI Safety Atlas note que certaines connaissances des modèles ressemblent plutôt à une table de correspondance. Mais les données vont à l’encontre de l’idée que ces systèmes ne font que répéter des motifs de surface. Pour la sécurité, cela joue dans les deux sens : les modèles du monde rendent les systèmes plus capables, et ce sont eux que la recherche en interprétabilité essaie de lire.