AIdea
Det är bara autokomplettering
Förutsäger AI bara nästa ord?
- Elever och studenter
- Lärare
Även: bara autokomplettering, avancerad autokomplettering, just autocomplete, förutsägelse av nästa token
Idén att chattbottar bara är en större version av ordförslagen på din telefon, så det finns inget att oroa sig för.
Det ligger något i det. En språkmodells första och största träningssteg är att förutsäga nästa ord: den läser enorma mängder text och lär sig gissa vad som kommer härnäst, ungefär som förslagen på ett mobiltangentbord. Och när den svarar skriver den en orddel i taget.
Men ”bara” döljer tre saker. För det första tränas dagens chattbottar inte bara på att förutsäga text. Därefter tränas de med mänsklig återkoppling (RLHF) till hjälpsamma assistenter, och sedan 2024 tränas nyare ”resonerande” modeller som OpenAI:s o1 med storskalig förstärkningsinlärning att arbeta sig igenom problem steg för steg innan de svarar. För det andra kan det kräva mycket att förutsäga nästa ord riktigt bra: forskare som tittar in i modeller har hittat inre representationer av världen, och Anthropic upptäckte att Claude planerar i förväg och väljer ett rimord innan den skriver raden som slutar på det. Som Anthropic uttryckte det är modeller ”tränade att skriva ut ett ord i taget”, men ”de kan tänka över mycket längre horisonter för att göra det”. För det tredje säger ”bara” ingenting om vad systemet kan. Förmågorna har växt med storleken, ofta på sätt som ingen förutsåg.
Inget av detta betyder att systemen tänker som människor, och de gör fortfarande enkla misstag. Men ”det är autokomplettering” beskriver hur utdata uppstår, inte hur kapabelt eller säkert systemet är. Det måste testas, inte antas.
