Ryzyko egzystencjalne

Ryzyko, że zaawansowana AI doprowadzi do wyginięcia ludzkości lub równie trwałej utraty jej przyszłości.

Ryzyko egzystencjalne to takie, które mogłoby zakończyć istnienie ludzkości albo trwale zrujnować jej przyszłość. AI Safety Atlas traktuje je jako najpoważniejszy kraniec całego spektrum szkód związanych z AI, a omawiane scenariusze obejmują wyginięcie ludzkości, trwałą utratę przez ludzkość władzy nad własną przyszłością oraz upadek cywilizacji.

To nie jest marginalna obawa. W 2023 roku setki badaczy AI oraz szefowie OpenAI, Google DeepMind i Anthropic podpisali jednozdaniowe oświadczenie: „Ograniczanie ryzyka wyginięcia z powodu AI powinno być globalnym priorytetem obok innych zagrożeń na skalę społeczną, takich jak pandemie i wojna jądrowa.” W największym jak dotąd badaniu wśród badaczy AI (2778 osób publikujących na czołowych konferencjach AI) od 38% do 51% przypisało co najmniej 10% szans, że zaawansowana AI doprowadzi do skutków tak poważnych jak wyginięcie ludzkości.

Prowadzi do tego kilka dróg. Atlas porządkuje je według przyczyny: nadużycie (ludzie wykorzystujący AI do wyrządzania szkód), niezgodność celów (AI dążąca do celów, których nikt nie zamierzał) oraz ryzyka systemowe narastające w społeczeństwie, pogłębiane przez „wzmacniacze ryzyka”, takie jak wyścig między firmami i państwami. Wspólny mianownik jest taki, że szkody mogą okazać się nieodwracalne, więc trzeba im zapobiegać z wyprzedzeniem.