AIdea
Papagalul stocastic
Înțelege IA ceva sau doar repetă ce a citit?
- Scriitori și jurnaliști
- Elevi și studenți
- Profesori
Și: papagali stocastici, stochastic parrot, stochastic parrots
Afirmația că modelele de limbaj înșiră cuvinte după probabilitate, fără vreo înțelegere a sensului.
Expresia vine dintr-o lucrare din 2021 a lingvistei Emily M. Bender, a cercetătoarei IA Timnit Gebru și a colegilor lor. Ele au descris un model de limbaj drept un sistem care înșiră secvențe de cuvinte văzute în datele de antrenament, după probabilitățile cu care se combină, „fără nicio referire la sens”. „Stocastic” înseamnă guvernat de întâmplare; papagalii repetă cuvinte pe care nu le înțeleg.
Principalele avertismente ale lucrării priveau daune reale și astăzi: costul ecologic și financiar al unor modele tot mai mari, date de antrenament uriașe și neverificate care încorporează prejudecăți și riscul ca oamenii să aibă încredere într-un text fluent în spatele căruia nu stă nimic. Aceste îngrijorări rămân valabile. Expresia însăși a căpătat o viață proprie, ca prescurtare pentru „de fapt nu înțelege nimic”, și e folosită des pentru a susține că aceste sisteme sunt mai puțin capabile decât par.
La această întrebare mai îngustă, dovezile s-au schimbat. Cercetătorii care se uită în interiorul modelelor au găsit reprezentări interne ale lumii: ale unei table de joc pe care modelul nu a văzut-o niciodată, ale locului unde se află locurile și ale momentului în care au avut loc evenimentele, precum și ale unor pași intermediari de raționament, cum ar fi „Dallas e în Texas” pe drumul spre „capitala este Austin”. AI Safety Atlas conchide că modelele comprimă ce învață în ceva asemănător cu modele ale lumii, deși inegal. Dacă asta contează drept „înțelegere” este în parte o chestiune de definiție. Pentru siguranță, contează că aceste sisteme pot face mai mult, și mai neașteptat, decât sugerează imaginea papagalului.
