Existenčné riziko

Riziko, že pokročilá AI spôsobí vyhynutie ľudstva alebo podobne trvalú stratu budúcnosti ľudstva.

Existenčné riziko je také, ktoré by mohlo ukončiť ľudstvo alebo trvalo zničiť jeho budúcnosť. AI Safety Atlas ho považuje za najzávažnejší koniec škály škôd spôsobených AI a medzi scenáre, ktoré pokrýva, patrí vyhynutie ľudstva, trvalá strata moci ľudstva nad vlastnou budúcnosťou a kolaps civilizácie.

Nie je to okrajová obava. V roku 2023 podpísali stovky výskumníkov AI a šéfovia OpenAI, Google DeepMind a Anthropic jednovetové vyhlásenie: „Zníženie rizika vyhynutia v dôsledku AI by malo byť globálnou prioritou popri ďalších rizikách celospoločenského rozsahu, ako sú pandémie a jadrová vojna.“ V doteraz najväčšom prieskume medzi výskumníkmi AI (2 778 ľudí, ktorí publikujú na popredných konferenciách o AI) pripísalo 38 % až 51 % z nich aspoň 10 % pravdepodobnosť, že pokročilá AI povedie k následkom takým vážnym, ako je vyhynutie ľudstva.

Vedie k tomu niekoľko ciest. Atlas ich triedi podľa príčiny: zneužitie (ľudia, ktorí AI používajú na škodu), nezosúladenie (AI, ktorá sleduje ciele, ktoré nikto nezamýšľal) a systémové riziká, ktoré sa hromadia v spoločnosti, zhoršované „zosilňovačmi rizík“, ako sú preteky medzi firmami a štátmi. Spoločným menovateľom je, že škody by sa potom nemuseli dať napraviť, a preto je nutné im predchádzať.