Risque existentiel

Le risque qu’une IA avancée provoque l’extinction de l’humanité, ou une perte tout aussi définitive de son avenir.

Un risque existentiel est un risque qui pourrait mettre fin à l’humanité ou ruiner définitivement son avenir. L’AI Safety Atlas le traite comme l’extrémité la plus grave d’un éventail de dommages liés à l’IA, et les scénarios qu’il couvre incluent l’extinction de l’humanité, la perte définitive par l’humanité du pouvoir sur son propre avenir, et l’effondrement de la civilisation.

Ce n’est pas une inquiétude marginale. En 2023, des centaines de chercheurs en IA et les dirigeants d’OpenAI, de Google DeepMind et d’Anthropic ont signé une déclaration d’une phrase : « Réduire le risque d’extinction lié à l’IA devrait être une priorité mondiale, au même titre que d’autres risques à l’échelle de la société comme les pandémies et la guerre nucléaire. » Dans la plus grande enquête menée à ce jour auprès de chercheurs en IA (2 778 personnes qui publient dans les grandes conférences d’IA), entre 38 % et 51 % accordaient au moins 10 % de probabilité au fait qu’une IA avancée mène à des conséquences aussi graves que l’extinction de l’humanité.

Plusieurs chemins y mènent. L’Atlas les classe par cause : le mésusage (des gens qui utilisent l’IA pour nuire), le désalignement (une IA qui poursuit des objectifs que personne n’a voulus), et les risques systémiques qui s’accumulent dans la société, aggravés par des « amplificateurs de risque » comme la course entre entreprises et entre pays. Le point commun, c’est que les dégâts pourraient ne pas être réparables après coup ; il faut donc les prévenir.