Stohastična papiga

Pisatelji in novinarji, pisatelj, pisateljica, avtor, avtorica, novinar, novinarka, urednik, prevajalec, prevajalka, mediji, novice, Učenci in študenti, učenec, učenka, dijak, dijakinja, študent, študentka, univerza, fakulteta, študij, Učitelji, učitelj, učiteljica, profesor, profesorica, vzgojitelj, vzgojiteljica, šola, izobraževanje

Tudi: stohastične papige, stochastic parrot, stochastic parrots

Trditev, da jezikovni modeli besede nizajo po verjetnosti, brez kakršnega koli razumevanja pomena.

Izraz izhaja iz članka iz leta 2021, ki so ga napisali jezikoslovka Emily M. Bender, raziskovalka UI Timnit Gebru in sodelavci. Jezikovni model so opisali kot sistem, ki niza zaporedja besed, videnih v učnih podatkih, glede na verjetnost njihovega združevanja, »brez kakršne koli navezave na pomen«. »Stohastičen« pomeni, da ga vodi naključje; papige ponavljajo besede, ki jih ne razumejo.

Glavna opozorila članka so se nanašala na škodo, ki je danes resnična: okoljske in finančne stroške vedno večjih modelov, ogromne nepregledane učne podatke, v katere so vgrajeni predsodki, in tveganje, da bodo ljudje zaupali tekočemu besedilu, za katerim ni ničesar. Te skrbi še vedno veljajo. Izraz sam je zaživel svoje življenje kot okrajšava za »v resnici ne razume ničesar« in se pogosto uporablja za trditev, da so ti sistemi manj zmogljivi, kot se zdi.

Pri tem ožjem vprašanju so se dokazi premaknili. Raziskovalci, ki pogledajo v notranjost modelov, so našli notranje predstavitve sveta: igralne plošče, ki je model nikoli ni videl, tega, kje so kraji in kdaj so se zgodili dogodki, ter vmesnih korakov sklepanja, kot je »Dallas je v Teksasu« na poti do »prestolnica je Austin«. AI Safety Atlas sklene, da modeli to, kar se naučijo, stisnejo v nekaj podobnega modelom sveta, čeprav neenakomerno. Ali to šteje za »razumevanje«, je deloma stvar opredelitve. Za varnost je pomembno, da ti sistemi zmorejo več in bolj nepričakovano, kot nakazuje podoba papige.