Modelli del mondo

Prove che un’IA addestrata solo su testo costruisce un’immagine interna di come funziona il mondo, invece di limitarsi ad abbinare schemi di parole.

Un modello del mondo è una rappresentazione interna di come sono e come funzionano le cose, che un sistema può usare per prevedere cosa succederà. La domanda è se i modelli linguistici ne abbiano uno, o solo statistiche su quali parole tendono a seguirne altre.

Diversi studi hanno guardato dentro i modelli e trovato rappresentazioni di questo tipo. Un modello addestrato solo su elenchi di mosse del gioco da tavolo Othello, e a cui non era mai stata mostrata una scacchiera, si è rivelato capace di tenere traccia della scacchiera internamente, e modificare quella scacchiera interna cambiava le mosse che prevedeva (Li et al., 2023). Si è scoperto che i modelli Llama-2 rappresentano dove si trovano i luoghi e quando sono avvenuti gli eventi, con singoli «neuroni dello spazio» e «neuroni del tempo» (Gurnee e Tegmark, 2023). Anthropic ha scoperto che Claude, interrogato sulla capitale dello Stato in cui si trova Dallas, rappresenta prima «Texas» e poi «Austin», e che scrivendo una poesia in rima sceglie la parola in rima prima di scrivere il verso.

Sono modelli parziali, non una comprensione completa, e l’AI Safety Atlas nota che parte della conoscenza nei modelli somiglia più a una tabella di consultazione. Ma le prove vanno contro l’idea che questi sistemi ripetano solo schemi superficiali. Per la sicurezza vale in entrambe le direzioni: i modelli del mondo rendono i sistemi più capaci, e sono ciò che la ricerca sull’interpretabilità cerca di leggere.