p(doom)

Aussi : p-doom, pdoom, probabilité de catastrophe, probability of doom

Abréviation désignant l’estimation personnelle de la probabilité que l’IA mène à une catastrophe, comme l’extinction de l’humanité.

« p(doom) » s’écrit comme une probabilité en mathématiques : la probabilité du désastre (« doom »). C’est né comme un raccourci entre initiés sur le forum LessWrong vers 2009, et cela s’est largement répandu après la sortie de GPT-4 en 2023, quand « c’est quoi ton p(doom) ? » est devenu une question incontournable pour quiconque construit ou étudie l’IA.

L’AI Safety Atlas le définit comme « la probabilité subjective que l’intelligence artificielle entraîne des conséquences existentiellement catastrophiques pour l’humanité ». Les réponses varient énormément. L’Atlas recense des estimations publiées allant de 0 % (l’investisseur Marc Andreessen) et moins de 0,01 % (le chercheur en IA Yann LeCun), en passant par 10–20 % et 20 % (les pionniers de l’IA Geoffrey Hinton et Yoshua Bengio), jusqu’à plus de 95 % (Eliezer Yudkowsky, du MIRI). Le PDG d’Anthropic, Dario Amodei, y figure à 10–25 %. Dans la plus grande enquête menée auprès de chercheurs en IA, entre 38 % et 51 % accordaient au moins 10 % de probabilité à des conséquences aussi graves que l’extinction de l’humanité.

Ce qu’un p(doom) n’est pas : une mesure. Il n’existe « aucune méthodologie standardisée », comme le dit l’Atlas, et chacun met des choses différentes derrière « doom » et derrière l’horizon de temps. Ce que les chiffres montrent, en revanche, c’est que beaucoup de ceux qui connaissent le mieux l’IA voient une catastrophe comme une possibilité réelle, pas de la science-fiction. À titre de comparaison, peu de gens monteraient dans un avion qui a 10 % de chances de s’écraser.