AIdea
Stochastische papegaai
Begrijpt AI iets, of herhaalt ze alleen wat ze heeft gelezen?
- Schrijvers en journalisten
- Scholieren en studenten
- Leraren
Ook: stochastische papegaaien, stochastic parrot, stochastic parrots
De bewering dat taalmodellen woorden op basis van waarschijnlijkheid aan elkaar rijgen, zonder enig begrip van betekenis.
De uitdrukking komt uit een paper uit 2021 van taalkundige Emily M. Bender, AI-onderzoeker Timnit Gebru en collega’s. Zij beschreven een taalmodel als een systeem dat reeksen woorden die het in zijn trainingsdata heeft gezien aan elkaar rijgt, volgens de kansen waarmee ze samengaan, ‘zonder enige verwijzing naar betekenis’. ‘Stochastisch’ betekent door toeval bepaald; papegaaien herhalen woorden die ze niet begrijpen.
De belangrijkste waarschuwingen van het paper gingen over schade die vandaag reëel is: de ecologische en financiële kosten van steeds grotere modellen, enorme onbekeken trainingsdata waarin vooroordelen zijn ingebakken, en het risico dat mensen vloeiende tekst vertrouwen waar niets achter staat. Die zorgen gelden nog steeds. De uitdrukking zelf kreeg een eigen leven, als afkorting voor ‘het begrijpt eigenlijk niets’, en wordt vaak gebruikt om te betogen dat deze systemen minder kunnen dan het lijkt.
Op die smallere vraag is het bewijs verschoven. Onderzoekers die in modellen kijken, hebben interne representaties van de wereld gevonden: van een spelbord dat het model nooit te zien kreeg, van waar plaatsen liggen en wanneer gebeurtenissen plaatsvonden, en van tussenstappen in redeneringen, zoals ‘Dallas ligt in Texas’ op weg naar ‘de hoofdstad is Austin’. De AI Safety Atlas concludeert dat modellen wat ze leren comprimeren tot iets wat op wereldmodellen lijkt, al is dat ongelijkmatig. Of dat als ‘begrijpen’ telt, is deels een kwestie van definitie. Voor veiligheid telt dat deze systemen meer kunnen, en onverwachter, dan het beeld van de papegaai suggereert.
