AIdea
Stochastický papoušek
Rozumí AI něčemu, nebo jen opakuje, co četla?
- Spisovatelé a novináři
- Žáci a studenti
- Učitelé
Také: stochastičtí papoušci, stochastic parrot, stochastic parrots
Tvrzení, že jazykové modely skládají slova podle pravděpodobnosti, bez jakéhokoli porozumění významu.
Výraz pochází ze studie z roku 2021 lingvistky Emily M. Bender, výzkumnice AI Timnit Gebru a jejich kolegů. Popsali jazykový model jako systém, který slepuje posloupnosti slov viděné v trénovacích datech podle pravděpodobností jejich kombinování, „bez jakéhokoli odkazu na význam“. „Stochastický“ znamená řízený náhodou; papoušci opakují slova, kterým nerozumějí.
Hlavní varování studie se týkala škod, které jsou dnes skutečné: ekologických a finančních nákladů stále větších modelů, obrovských neprověřených trénovacích dat, která v sobě zabudovávají předsudky, a rizika, že lidé budou důvěřovat plynulému textu, za kterým nic nestojí. Tyto obavy stále platí. Výraz sám začal žít vlastním životem jako zkratka pro „ve skutečnosti ničemu nerozumí“ a často se používá k tvrzení, že tyto systémy jsou méně schopné, než se zdá.
V této užší otázce se důkazy posunuly. Výzkumníci, kteří nahlížejí do modelů, našli vnitřní reprezentace světa: herní desky, kterou model nikdy neviděl, toho, kde leží místa a kdy se staly události, i mezikroků v uvažování, jako „Dallas je v Texasu“ na cestě k „hlavní město je Austin“. AI Safety Atlas dochází k závěru, že modely to, co se naučí, komprimují do něčeho jako modely světa, i když nerovnoměrně. Zda se to počítá jako „porozumění“, je zčásti otázka definice. Pro bezpečnost je podstatné, že tyto systémy dokážou víc a nečekaněji, než naznačuje obraz papouška.
