AIdea
Stokastisk papegøje
Forstår AI noget, eller gentager den bare, hvad den har læst?
- Forfattere og journalister
- Elever og studerende
- Lærere
Også: stokastiske papegøjer, stochastic parrot, stochastic parrots
Påstanden om, at sprogmodeller sætter ord sammen efter sandsynlighed uden nogen forståelse af betydning.
Udtrykket stammer fra en artikel fra 2021 af lingvisten Emily M. Bender, AI-forskeren Timnit Gebru og kolleger. De beskrev en sprogmodel som et system, der syr ordsekvenser, det har set i sine træningsdata, sammen efter sandsynligheden for, hvordan de kombineres, »uden nogen henvisning til betydning«. »Stokastisk« betyder styret af tilfældigheder; papegøjer gentager ord, de ikke forstår.
Artiklens vigtigste advarsler handlede om skader, der er virkelige i dag: de miljømæssige og økonomiske omkostninger ved stadig større modeller, enorme ugranskede træningsdata, der bager fordomme ind, og risikoen for, at folk stoler på flydende tekst, som intet står bag. De bekymringer gælder stadig. Selve udtrykket har fået sit eget liv som kortform for »den forstår egentlig ingenting« og bruges ofte til at argumentere for, at disse systemer er mindre kapable, end de ser ud.
På det snævrere spørgsmål har beviserne flyttet sig. Forskere, der kigger ind i modeller, har fundet indre repræsentationer af verden: af et spillebræt, modellen aldrig fik vist, af hvor steder ligger, og hvornår begivenheder fandt sted, og af mellemtrin i ræsonnementer, som »Dallas ligger i Texas« på vej mod »hovedstaden er Austin«. AI Safety Atlas konkluderer, at modeller komprimerer det, de lærer, til noget i retning af verdensmodeller, om end ujævnt. Om det tæller som »forståelse«, er delvis et definitionsspørgsmål. For sikkerheden er det afgørende, at disse systemer kan mere, og mere uventet, end billedet af papegøjen antyder.
