AIdea
Stokastisk papegoja
Förstår AI något, eller upprepar den bara det den har läst?
- Skribenter och journalister
- Elever och studenter
- Lärare
Även: stokastiska papegojor, stochastic parrot, stochastic parrots
Påståendet att språkmodeller fogar ihop ord efter sannolikhet, utan någon förståelse av betydelse.
Uttrycket kommer från en artikel från 2021 av lingvisten Emily M. Bender, AI-forskaren Timnit Gebru och kollegor. De beskrev en språkmodell som ett system som syr ihop ordsekvenser som det har sett i sina träningsdata, efter sannolikheterna för hur de kombineras, ”utan någon hänvisning till betydelse”. ”Stokastisk” betyder styrd av slumpen; papegojor upprepar ord de inte förstår.
Artikelns främsta varningar gällde skador som är verkliga i dag: miljö- och kostnadsbördan av allt större modeller, enorma ogranskade träningsdata som bakar in fördomar, och risken att människor litar på flytande text som inget står bakom. De farhågorna gäller fortfarande. Själva uttrycket fick ett eget liv som förkortning för ”den förstår egentligen ingenting”, och används ofta för att hävda att systemen är mindre kapabla än de verkar.
I den snävare frågan har belägget förskjutits. Forskare som tittar in i modeller har hittat inre representationer av världen: av en spelplan som modellen aldrig fick se, av var platser ligger och när händelser inträffade, och av mellansteg i resonemang, som ”Dallas ligger i Texas” på väg mot ”huvudstaden är Austin”. AI Safety Atlas drar slutsatsen att modeller komprimerar det de lär sig till något som liknar världsmodeller, om än ojämnt. Om det räknas som ”förståelse” är delvis en definitionsfråga. För säkerheten är det viktiga att systemen kan mer, och mer oväntat, än bilden av papegojan antyder.
