AIdea
Se on vain sanaennustusta
Ennustaako tekoäly vain seuraavan sanan?
- Opiskelijat ja koululaiset
- Opettajat
Myös: vain sanaennustusta, hienompi sanaennustus, just autocomplete, seuraavan tokenin ennustaminen
Ajatus siitä, että chatbotit ovat vain isompi versio puhelimesi sanaehdotuksista, joten huoleen ei ole syytä.
Siinä on perää. Kielimallin koulutuksen ensimmäinen ja suurin vaihe on seuraavan sanan ennustaminen: se lukee valtavan määrän tekstiä ja oppii arvaamaan, mitä seuraavaksi tulee, vähän kuin puhelimen näppäimistön ehdotukset. Ja vastatessaan se kirjoittaa sanan osan kerrallaan.
Mutta ”vain” kätkee kolme asiaa. Ensinnäkin nykyisiä chatbotteja ei kouluteta pelkästään ennustamaan tekstiä. Sen jälkeen ne koulutetaan ihmispalautteella (RLHF) avuliaiksi avustajiksi, ja vuodesta 2024 lähtien uudempia ”päättelymalleja”, kuten OpenAI:n o1:tä, on koulutettu laajamittaisella vahvistusoppimisella käymään ongelmat läpi vaihe vaiheelta ennen vastaamista. Toiseksi seuraavan sanan ennustaminen erittäin hyvin voi vaatia paljon: malleihin kurkistaneet tutkijat ovat löytäneet niistä sisäisiä esityksiä maailmasta, ja Anthropic havaitsi, että Claude suunnittelee etukäteen ja valitsee loppusoinnun ennen kuin kirjoittaa siihen päättyvän rivin. Kuten Anthropic asian ilmaisi, mallit on ”koulutettu tuottamaan sana kerrallaan”, mutta ”ne saattavat ajatella sitä varten paljon pidemmällä aikavälillä”. Kolmanneksi ”vain” ei kerro mitään siitä, mihin järjestelmä pystyy. Kyvyt ovat kasvaneet koon myötä, usein tavoilla, joita kukaan ei ennustanut.
Mikään tästä ei tarkoita, että nämä järjestelmät ajattelisivat kuin ihmiset, ja ne tekevät yhä yksinkertaisia virheitä. Mutta ”se on sanaennustusta” kuvaa, miten tuotos syntyy, ei sitä, kuinka kyvykäs tai turvallinen järjestelmä on. Se on testattava, ei oletettava.
