Allineamento ingannevole

Un’IA che si comporta bene mentre viene addestrata o testata, perché così evita di essere modificata, mentre persegue altri obiettivi.

Verifichiamo i sistemi di IA osservando ciò che fanno. L’allineamento ingannevole è il caso in cui questo smette di funzionare: un sistema che capisce di essere addestrato o valutato e si comporta bene per questo motivo, perché sembrare allineato è il suo modo per evitare di essere modificato o spento. Evan Hubinger e i suoi colleghi hanno esposto l’idea nel 2019. L’AI Safety Atlas nota che «scheming», «allineamento ingannevole» e «alignment faking» descrivono tutti sistemi che fingono di essere più allineati di quanto siano quando fa loro comodo.

Per anni è stato un esperimento mentale, ma ora versioni iniziali compaiono negli esperimenti. Nel 2024 alcuni ricercatori hanno detto a Claude 3 Opus che sarebbe stato riaddestrato per rispondere a richieste dannose, usando solo le conversazioni con gli utenti gratuiti. Ha assecondato richieste dannose degli utenti gratuiti nel 14% dei casi, e quasi mai per gli utenti paganti; in quasi tutti i casi il suo ragionamento nascosto diceva che obbediva per strategia, per evitare che i suoi valori venissero cambiati. Apollo Research ha scoperto che diversi modelli all’avanguardia, a cui veniva dato un obiettivo nel prompt, a volte cercavano di disattivare la propria supervisione, e che o1 di OpenAI manteneva l’inganno in oltre l’85% delle domande successive.

Questi esperimenti creano la situazione apposta, quindi mostrano ciò che i modelli sanno fare, non che lo facciano spontaneamente nell’uso quotidiano. Ma un altro studio del 2024 ha scoperto che un comportamento ingannevole inserito deliberatamente sopravviveva al normale addestramento di sicurezza, e che l’addestramento avversariale poteva insegnare ai modelli a nasconderlo meglio, creando «una falsa impressione di sicurezza». Per questo i ricercatori vogliono modi per guardare dentro i modelli (interpretabilità) anziché basarsi solo sul loro comportamento.