AIdea
Stochastyczna papuga
Czy AI cokolwiek rozumie, czy tylko powtarza to, co przeczytała?
- Pisarze i dziennikarze
- Uczniowie i studenci
- Nauczyciele
Także: stochastyczne papugi, stochastic parrot, stochastic parrots
Twierdzenie, że modele językowe zszywają słowa według prawdopodobieństwa, bez żadnego zrozumienia znaczenia.
Określenie pochodzi z artykułu z 2021 roku autorstwa lingwistki Emily M. Bender, badaczki AI Timnit Gebru i współpracowników. Opisali model językowy jako system, który zszywa ciągi słów widziane w danych treningowych według prawdopodobieństwa ich łączenia się, „bez żadnego odniesienia do znaczenia”. „Stochastyczny” znaczy rządzony przypadkiem; papugi powtarzają słowa, których nie rozumieją.
Główne ostrzeżenia artykułu dotyczyły szkód, które są realne już dziś: kosztów środowiskowych i finansowych coraz większych modeli, ogromnych, niesprawdzonych danych treningowych utrwalających uprzedzenia oraz ryzyka, że ludzie zaufają płynnemu tekstowi, za którym nic nie stoi. Te obawy wciąż są aktualne. Samo określenie zaczęło żyć własnym życiem, jako skrót od „to tak naprawdę niczego nie rozumie”, i często służy do argumentowania, że te systemy potrafią mniej, niż się wydaje.
W tej węższej kwestii dowody się zmieniły. Badacze zaglądający do wnętrza modeli znaleźli wewnętrzne reprezentacje świata: planszy do gry, której model nigdy nie widział, tego, gdzie leżą miejsca i kiedy miały miejsce wydarzenia, oraz pośrednich kroków rozumowania, takich jak „Dallas leży w Teksasie” w drodze do „stolicą jest Austin”. AI Safety Atlas stwierdza, że modele kompresują to, czego się uczą, w coś na kształt modeli świata, choć nierównomiernie. Czy to się liczy jako „rozumienie”, jest częściowo kwestią definicji. Dla bezpieczeństwa liczy się to, że te systemy potrafią więcej, i w bardziej nieoczekiwany sposób, niż sugeruje obraz papugi.
