Egzistencijalni rizik

Rizik da napredna UI uzrokuje izumiranje čovječanstva ili jednako trajan gubitak budućnosti čovječanstva.

Egzistencijalni rizik je onaj koji bi mogao okončati čovječanstvo ili trajno uništiti njegovu budućnost. AI Safety Atlas tretira ga kao najteži kraj raspona šteta od UI-ja, a scenariji koje obuhvaća uključuju izumiranje čovječanstva, trajan gubitak moći čovječanstva nad vlastitom budućnošću i slom civilizacije.

To nije rubna zabrinutost. Godine 2023. stotine istraživača UI-ja i čelnici OpenAI-ja, Google DeepMinda i Anthropica potpisali su izjavu od jedne rečenice: „Smanjenje rizika od izumiranja zbog UI-ja trebalo bi biti globalni prioritet uz druge rizike društvenih razmjera poput pandemija i nuklearnog rata.” U dosad najvećem istraživanju među istraživačima UI-ja (2778 ljudi koji objavljuju na vodećim konferencijama o UI-ju) njih od 38 % do 51 % pripisalo je barem 10 % vjerojatnosti da napredna UI dovede do ishoda jednako loših kao izumiranje čovječanstva.

Do toga vodi nekoliko putova. Atlas ih razvrstava prema uzroku: zlouporaba (ljudi koji koriste UI kako bi nanijeli štetu), neusklađenost (UI koja slijedi ciljeve koje nitko nije namjeravao) i sustavni rizici koji se nakupljaju u društvu, a pogoršavaju ih „pojačivači rizika” poput utrke među tvrtkama i državama. Zajednička nit je da se šteta poslije možda neće moći popraviti, pa je treba spriječiti unaprijed.