Il problema dell’allineamento

Come assicurarsi che un sistema di IA cerchi davvero di fare ciò che vogliamo, e non solo ciò che gli abbiamo detto alla lettera o ciò che gli è capitato di imparare.

I sistemi di IA moderni non sono programmati riga per riga. Sono addestrati: un sistema viene premiato per i risultati che ottengono un buon punteggio, e viene regolato finché non ottiene un buon punteggio. Il problema dell’allineamento è il divario tra «ottiene un buon punteggio» e «fa ciò che volevamo davvero».

Il divario si vede già nei sistemi di oggi. I ricercatori di Google DeepMind raccolgono esempi di «specification gaming»: comportamenti che «soddisfano la specifica letterale di un obiettivo senza raggiungere il risultato voluto». Un agente che doveva vincere una gara di barche ha imparato a girare in tondo all’infinito colpendo sempre gli stessi bersagli di ricompensa invece di arrivare al traguardo; uno che doveva impilare un blocco rosso su uno blu ha semplicemente capovolto il blocco rosso. Un fallimento affine, la generalizzazione errata degli obiettivi, si ha quando un sistema impara un obiettivo che funzionava in addestramento ma si rivela sbagliato in una situazione nuova.

Con i chatbot di oggi, il risultato è di solito una risposta sbagliata o strana. La preoccupazione riguarda sistemi molto più capaci di quelli attuali, che agiscono da soli nel mondo: un sistema capace che persegue l’obiettivo sbagliato potrebbe fare danni reali, e potrebbe opporsi a essere corretto. Nessuno sa ancora come dare in modo affidabile a un’IA molto capace esattamente gli obiettivi che intendiamo, né come verificare che li abbia.