AIdea
Het is gewoon autocomplete
Voorspelt AI alleen het volgende woord?
- Scholieren en studenten
- Leraren
Ook: gewoon autocomplete, veredelde autocomplete, just autocomplete, volgend-tokenvoorspelling
Het idee dat chatbots alleen een grotere versie zijn van de woordsuggesties op je telefoon, dus dat er niets is om je zorgen over te maken.
Er zit iets waars in. De eerste en grootste trainingsstap van een taalmodel is het voorspellen van het volgende woord: het leest enorme hoeveelheden tekst en leert te raden wat er daarna komt, net als de suggesties op een telefoontoetsenbord. En als het antwoordt, schrijft het één stukje woord tegelijk.
Maar ‘gewoon’ verbergt drie dingen. Ten eerste worden de chatbots van nu niet alleen getraind om tekst te voorspellen. Daarna worden ze met menselijke feedback (RLHF) getraind tot behulpzame assistenten, en sinds 2024 worden nieuwere ‘redeneermodellen’ zoals o1 van OpenAI met grootschalig reinforcement learning getraind om problemen stap voor stap door te werken voordat ze antwoorden. Ten tweede kan het heel goed voorspellen van het volgende woord veel vereisen: onderzoekers die in modellen kijken, hebben interne representaties van de wereld gevonden, en Anthropic ontdekte dat Claude vooruit plant en een rijmwoord kiest voordat het de regel schrijft die erop eindigt. Zoals Anthropic het zei, zijn modellen ‘getraind om één woord tegelijk te produceren’, maar ‘daarbij denken ze mogelijk over veel langere horizonten na’. Ten derde zegt ‘gewoon’ niets over wat het systeem kan. Capaciteiten zijn met de schaal gegroeid, vaak op manieren die niemand voorspelde.
Niets hiervan betekent dat deze systemen denken zoals mensen, en ze maken nog steeds simpele fouten. Maar ‘het is autocomplete’ beschrijft hoe de uitvoer tot stand komt, niet hoe capabel of hoe veilig het systeem is. Dat moet getest worden, niet aangenomen.
