See on lihtsalt automaatne lõpetamine

Õpilased ja üliõpilased, õpilane, üliõpilane, tudeng, ülikool, gümnaasium, õppimine, Õpetajad, õpetaja, õppejõud, kasvataja, kool, õpetamine

Ka: lihtsalt automaatne lõpetamine, uhkem automaatne lõpetamine, just autocomplete, järgmise tokeni ennustamine

Idee, et vestlusrobotid on lihtsalt suurem versioon sinu telefoni sõnasoovitustest, nii et muretsemiseks pole põhjust.

Selles on tõetera. Keelemudeli esimene ja suurim treeningsamm on järgmise sõna ennustamine: see loeb tohutul hulgal teksti ja õpib ära arvama, mis tuleb järgmisena, umbes nagu telefoniklaviatuuri soovitused. Ja vastates kirjutab see korraga ühe sõnatüki.

Kuid sõna „lihtsalt“ peidab kolme asja. Esiteks ei treenita tänaseid vestlusroboteid ainult teksti ennustama. Seejärel treenitakse neid inimeste tagasiside abil (RLHF) abivalmiteks assistentideks ning alates 2024. aastast treenitakse uuemaid „arutlevaid“ mudeleid, nagu OpenAI o1, suuremahulise stiimulõppega lahendama probleeme enne vastamist samm-sammult. Teiseks võib järgmise sõna väga hea ennustamine nõuda palju: mudelitesse piilunud teadlased on leidnud neist sisemisi maailmakujutlusi ning Anthropic avastas, et Claude planeerib ette ja valib riimsõna enne, kui kirjutab rea, mis sellega lõpeb. Nagu Anthropic ütles, on mudelid „treenitud väljastama ühe sõna korraga“, kuid „selleks võivad nad mõelda palju pikemas perspektiivis“. Kolmandaks ei ütle „lihtsalt“ midagi selle kohta, mida süsteem suudab. Võimed on kasvanud koos suurusega, sageli viisil, mida keegi ei ennustanud.

Miski sellest ei tähenda, et need süsteemid mõtleksid nagu inimesed, ja nad teevad endiselt lihtsaid vigu. Kuid „see on automaatne lõpetamine“ kirjeldab, kuidas väljund tekib, mitte seda, kui võimekas või ohutu süsteem on. Seda tuleb testida, mitte eeldada.