Rischio esistenziale

Il rischio che l’IA avanzata causi l’estinzione umana, o una perdita altrettanto permanente del futuro dell’umanità.

Un rischio esistenziale è un rischio che potrebbe porre fine all’umanità o rovinarne per sempre il futuro. L’AI Safety Atlas lo tratta come l’estremo più grave di una gamma di danni dell’IA, e gli scenari che considera includono l’estinzione umana, la perdita permanente da parte dell’umanità del potere sul proprio futuro e il collasso della civiltà.

Non è una preoccupazione marginale. Nel 2023 centinaia di ricercatori di IA e i vertici di OpenAI, Google DeepMind e Anthropic hanno firmato una dichiarazione di una sola frase: «Ridurre il rischio di estinzione causato dall’IA dovrebbe essere una priorità globale, insieme ad altri rischi su scala sociale come le pandemie e la guerra nucleare.» Nel più grande sondaggio tra ricercatori di IA finora (2.778 persone che pubblicano nelle principali conferenze di IA), tra il 38% e il 51% ha attribuito almeno il 10% di probabilità al fatto che l’IA avanzata porti a esiti gravi quanto l’estinzione umana.

Ci sono diverse strade per arrivarci. L’Atlas le ordina per causa: l’uso improprio (persone che usano l’IA per fare del male), il disallineamento (un’IA che persegue obiettivi che nessuno voleva) e i rischi sistemici che si accumulano nella società, aggravati da «amplificatori di rischio» come la corsa tra aziende e Paesi. Il filo comune è che il danno potrebbe non essere riparabile dopo, quindi va prevenuto in anticipo.