Det er bare autofuldførelse

Elever og studerende, elev, studerende, student, universitet, gymnasium, studie, Lærere, lærer, underviser, pædagog, skole, undervisning, lektor

Også: bare autofuldførelse, avanceret autofuldførelse, just autocomplete, forudsigelse af næste token

Idéen om, at chatbots bare er en større udgave af ordforslagene på din telefon, så der er intet at bekymre sig om.

Der er noget om det. En sprogmodels første og største træningstrin er at forudsige det næste ord: Den læser enorme mængder tekst og lærer at gætte, hvad der kommer bagefter, ligesom forslagene på et telefontastatur. Og når den svarer, skriver den ét orddel ad gangen.

Men »bare« skjuler tre ting. For det første er nutidens chatbots ikke kun trænet til at forudsige tekst. Derefter trænes de med menneskelig feedback (RLHF) til at være hjælpsomme assistenter, og siden 2024 er nyere »ræsonnerende« modeller som OpenAI’s o1 blevet trænet med storstilet forstærkningslæring til at arbejde sig igennem problemer trin for trin, før de svarer. For det andet kan det kræve meget at forudsige det næste ord rigtig godt: Forskere, der kigger ind i modeller, har fundet indre repræsentationer af verden, og Anthropic fandt, at Claude planlægger forud og vælger et rimord, før den skriver den linje, der ender på det. Som Anthropic udtrykte det, er modeller »trænet til at skrive ét ord ad gangen«, men »de tænker måske over langt længere horisonter for at gøre det«. For det tredje siger »bare« intet om, hvad systemet kan. Evnerne er vokset med størrelsen, ofte på måder, ingen forudså.

Intet af dette betyder, at disse systemer tænker som mennesker, og de laver stadig simple fejl. Men »det er autofuldførelse« beskriver, hvordan output bliver til, ikke hvor dygtigt eller sikkert systemet er. Det skal testes, ikke antages.