Risco existencial

O risco de a IA avançada causar a extinção humana, ou uma perda igualmente permanente do futuro da humanidade.

Um risco existencial é um risco que poderia acabar com a humanidade ou arruinar para sempre o seu futuro. O AI Safety Atlas trata-o como o extremo mais grave de uma gama de danos da IA, e os cenários que abrange incluem a extinção humana, a humanidade perder para sempre o poder sobre o seu próprio futuro e o colapso da civilização.

Não é uma preocupação marginal. Em 2023, centenas de investigadores de IA e os líderes da OpenAI, da Google DeepMind e da Anthropic assinaram uma declaração de uma só frase: «Mitigar o risco de extinção causado pela IA deve ser uma prioridade global, a par de outros riscos à escala da sociedade, como as pandemias e a guerra nuclear.» No maior inquérito a investigadores de IA até agora (2778 pessoas que publicam nas principais conferências de IA), entre 38% e 51% atribuíram pelo menos 10% de probabilidade a que a IA avançada leve a resultados tão graves como a extinção humana.

Há vários caminhos até lá. O Atlas ordena-os por causa: uso indevido (pessoas que usam a IA para fazer mal), desalinhamento (uma IA que persegue objetivos que ninguém pretendia) e riscos sistémicos que se acumulam na sociedade, agravados por «amplificadores de risco» como a corrida entre empresas e países. O fio condutor é que o dano pode não ter reparação depois, por isso tem de ser evitado de antemão.