p(doom)

Även: p-doom, pdoom, sannolikhet för undergång, probability of doom

Förkortning för någons personliga uppskattning av risken att AI leder till en katastrof, som att mänskligheten dör ut.

”p(doom)” skrivs som en sannolikhet i matematiken: sannolikheten för undergång (”doom”). Det började som en internskämtsam förkortning på forumet LessWrong runt 2009 och spreds brett efter att GPT-4 kom ut 2023, när ”vad är din p(doom)?” blev en standardfråga till alla som bygger eller forskar om AI.

AI Safety Atlas definierar det som ”den subjektiva sannolikheten att artificiell intelligens kommer att orsaka existentiellt katastrofala följder för mänskligheten”. Svaren varierar enormt. Atlas listar publicerade uppskattningar från 0 % (investeraren Marc Andreessen) och under 0,01 % (AI-forskaren Yann LeCun), via 10–20 % och 20 % (AI-pionjärerna Geoffrey Hinton och Yoshua Bengio), till över 95 % (Eliezer Yudkowsky på MIRI). Anthropics vd Dario Amodei anges till 10–25 %. I den största enkäten bland AI-forskare gav mellan 38 % och 51 % minst 10 % sannolikhet för följder lika allvarliga som att mänskligheten dör ut.

Vad en p(doom) inte är: en mätning. Det finns ”ingen standardiserad metod”, som Atlas uttrycker det, och folk menar olika saker med ”doom” och med tidshorisonten. Men siffrorna visar att många av dem som känner AI bäst ser en katastrof som en verklig möjlighet, inte science fiction. Som jämförelse skulle få gå ombord på ett flyg med 10 % risk att störta.