Pappagallo stocastico

Scrittori e giornalisti, scrittore, scrittrice, autore, autrice, giornalista, redattore, redattrice, traduttore, traduttrice, media, notizie, Studenti, studente, studentessa, alunno, alunna, università, scuola, studiare, Insegnanti, insegnante, docente, professore, professoressa, maestro, maestra, scuola, educatore

Anche: pappagalli stocastici, stochastic parrot, stochastic parrots

L’affermazione che i modelli linguistici mettano insieme parole in base alla probabilità, senza alcuna comprensione del significato.

L’espressione viene da un articolo del 2021 della linguista Emily M. Bender, della ricercatrice di IA Timnit Gebru e dei loro colleghi. Descrivevano un modello linguistico come un sistema che cuce insieme sequenze di parole viste nei dati di addestramento, secondo le probabilità con cui si combinano, «senza alcun riferimento al significato». «Stocastico» significa governato dal caso; i pappagalli ripetono parole che non capiscono.

Gli avvertimenti principali dell’articolo riguardavano danni reali già oggi: il costo ambientale ed economico di modelli sempre più grandi, enormi dati di addestramento non esaminati che incorporano pregiudizi, e il rischio che le persone si fidino di un testo scorrevole dietro cui non c’è nulla. Queste preoccupazioni restano valide. L’espressione ha poi preso vita propria, come scorciatoia per «in realtà non capisce niente», e viene spesso usata per sostenere che questi sistemi siano meno capaci di quanto sembrino.

Su questa domanda più ristretta, le prove sono cambiate. I ricercatori che guardano dentro i modelli hanno trovato rappresentazioni interne del mondo: di una scacchiera di gioco che al modello non era mai stata mostrata, di dove si trovano i luoghi e di quando sono avvenuti gli eventi, e di passaggi intermedi del ragionamento, come «Dallas è in Texas» sulla strada verso «la capitale è Austin». L’AI Safety Atlas conclude che i modelli comprimono ciò che imparano in qualcosa di simile a modelli del mondo, anche se in modo non uniforme. Se questo valga come «capire» è in parte una questione di definizioni. Per la sicurezza, ciò che conta è che questi sistemi possono fare di più, e in modo più inatteso, di quanto suggerisca l’immagine del pappagallo.