AIdea
Ce n’est que de l’autocomplétion
L’IA ne fait-elle que prédire le mot suivant ?
- Élèves et étudiants
- Enseignants
Aussi : juste de l’autocomplétion, autocomplétion améliorée, just autocomplete, prédiction du prochain token
L’idée que les chatbots ne sont qu’une version plus grande des suggestions de mots de votre téléphone, et qu’il n’y a donc pas de quoi s’inquiéter.
Il y a du vrai là-dedans. La première et la plus grande étape d’entraînement d’un modèle de langage est la prédiction du mot suivant : il lit une énorme quantité de texte et apprend à deviner ce qui vient ensuite, un peu comme les suggestions du clavier d’un téléphone. Et quand il répond, il écrit un morceau de mot à la fois.
Mais le « que » cache trois choses. D’abord, les chatbots actuels ne sont pas seulement entraînés à prédire du texte. Ils sont ensuite entraînés avec des retours humains (RLHF) pour devenir des assistants utiles, et depuis 2024 de nouveaux modèles de « raisonnement » comme o1 d’OpenAI sont entraînés par apprentissage par renforcement à grande échelle pour résoudre les problèmes étape par étape avant de répondre. Ensuite, très bien prédire le mot suivant peut exiger beaucoup : des chercheurs qui regardent à l’intérieur des modèles y ont trouvé des représentations internes du monde, et Anthropic a constaté que Claude planifie à l’avance, en choisissant un mot qui rime avant d’écrire le vers qui se termine par lui. Comme l’a dit Anthropic, les modèles sont « entraînés à produire un mot à la fois », mais « ils peuvent pour cela penser à bien plus long terme ». Enfin, le « que » ne dit rien de ce dont le système est capable. Les capacités ont augmenté avec la taille, souvent d’une manière que personne n’avait prévue.
Rien de tout cela ne signifie que ces systèmes pensent comme des humains, et ils font encore des erreurs simples. Mais « c’est de l’autocomplétion » décrit comment le résultat est produit, pas à quel point le système est capable ou sûr. Cela doit être testé, pas supposé.
