AIdea
Le shoggoth
Le chatbot sympathique n’est-il qu’un masque ?
- Parents
Aussi : shoggoth au smiley, mème du shoggoth, shoggoth meme
Un mème qui représente l’IA comme un monstre à tentacules portant un petit masque souriant : l’assistant sympathique que nous voyons.
Un shoggoth est un monstre de l’écrivain d’horreur H. P. Lovecraft : une énorme masse informe de bouillie noire couverte d’yeux, créée comme serviteur par une race extraterrestre, qui finit par se rebeller dans le récit. Dans le mème sur l’IA, dessiné pour la première fois par l’utilisateur de Twitter @TetraspaceWest, il représente un grand modèle de langage. Dans la version d’origine, il y avait deux shoggoths, l’un étiqueté « GPT-3 » et l’autre « GPT-3 + RLHF », le second brandissant un minuscule masque souriant.
La blague porte sur la façon dont les chatbots sont fabriqués. Un modèle apprend d’abord à partir d’une énorme quantité de texte et devient quelque chose d’étrange et difficile à comprendre (le monstre). Puis une étape d’entraînement bien plus petite, le RLHF, lui apprend à présenter un visage serviable et poli (le masque). L’assistant sympathique avec qui vous parlez, c’est le masque ; personne ne sait vraiment ce qu’il y a dessous. En 2023, le mème était assez populaire chez les gens qui construisent l’IA pour que le New York Times l’explique, et l’on parle d’« apercevoir le shoggoth » quand un chatbot se met soudain à se comporter de manière erratique.
Le mème est un dessin, pas une découverte : il ne montre pas que quelque chose avec ses propres plans se cache dessous. Mais l’idée qui le sous-tend est aussi celle des chercheurs. L’entraînement façonne le comportement de ces systèmes sans montrer ce qu’ils ont appris à l’intérieur (l’équipe d’interprétabilité d’Anthropic : « Nous traitons la plupart du temps les modèles d’IA comme une boîte noire »), et la science qui consiste à regarder à l’intérieur est encore jeune.
