p(doom)

Auch: p-doom, pdoom, Untergangswahrscheinlichkeit, probability of doom

Kurzform für die persönliche Schätzung, wie wahrscheinlich es ist, dass KI zu einer Katastrophe wie dem Aussterben der Menschheit führt.

„p(doom)“ wird geschrieben wie eine Wahrscheinlichkeit in der Mathematik: die Wahrscheinlichkeit des Untergangs („doom“). Es begann um 2009 als Insider-Kürzel im Forum LessWrong und verbreitete sich stark, nachdem 2023 GPT-4 erschien, als „Wie hoch ist dein p(doom)?“ zur Standardfrage an alle wurde, die KI bauen oder erforschen.

Der AI Safety Atlas definiert es als „die subjektive Wahrscheinlichkeit, dass künstliche Intelligenz existenziell katastrophale Folgen für die Menschheit haben wird“. Die Antworten gehen enorm auseinander. Der Atlas listet veröffentlichte Schätzungen von 0 % (der Investor Marc Andreessen) und unter 0,01 % (der KI-Forscher Yann LeCun) über 10–20 % und 20 % (die KI-Pioniere Geoffrey Hinton und Yoshua Bengio) bis über 95 % (Eliezer Yudkowsky vom MIRI). Anthropics CEO Dario Amodei wird mit 10–25 % geführt. In der größten Umfrage unter KI-Forschenden gaben zwischen 38 % und 51 % mindestens 10 % Wahrscheinlichkeit für Folgen an, die so schlimm sind wie das Aussterben der Menschheit.

Was ein p(doom) nicht ist: eine Messung. Es gibt „keine standardisierte Methodik“, wie der Atlas schreibt, und Menschen meinen mit „doom“ und mit dem Zeitraum Unterschiedliches. Was die Zahlen aber zeigen: Viele der Menschen, die KI am besten kennen, halten eine Katastrophe für eine reale Möglichkeit, nicht für Science-Fiction. Zum Vergleich: Kaum jemand würde in ein Flugzeug steigen, das mit 10 % Wahrscheinlichkeit abstürzt.