Riesgo existencial

El riesgo de que la IA avanzada cause la extinción humana o una pérdida igual de permanente del futuro de la humanidad.

Un riesgo existencial es uno que podría acabar con la humanidad o arruinar para siempre su futuro. El AI Safety Atlas lo trata como el extremo más grave de una gama de daños de la IA, y entre los escenarios que abarca están la extinción humana, que la humanidad pierda para siempre el poder sobre su propio futuro y el colapso de la civilización.

No es una preocupación marginal. En 2023, cientos de investigadores de IA y los directivos de OpenAI, Google DeepMind y Anthropic firmaron una declaración de una sola frase: «Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial junto con otros riesgos a escala social, como las pandemias y la guerra nuclear.» En la mayor encuesta a investigadores de IA hasta la fecha (2.778 personas que publican en las principales conferencias de IA), entre el 38 % y el 51 % dieron al menos un 10 % de probabilidad a que la IA avanzada lleve a resultados tan graves como la extinción humana.

Hay varios caminos hasta ahí. El Atlas los ordena por causa: el uso indebido (personas que usan la IA para hacer daño), el desalineamiento (una IA que persigue objetivos que nadie pretendía) y los riesgos sistémicos que se acumulan en la sociedad, agravados por «amplificadores de riesgo» como la carrera entre empresas y países. El hilo común es que el daño quizá no tenga arreglo después, así que hay que evitarlo de antemano.