Existenciální riziko

Riziko, že pokročilá AI způsobí vyhynutí lidstva nebo podobně trvalou ztrátu budoucnosti lidstva.

Existenciální riziko je takové, které by mohlo ukončit lidstvo nebo trvale zničit jeho budoucnost. AI Safety Atlas ho považuje za nejzávažnější konec škály škod způsobených AI a mezi scénáře, které pokrývá, patří vyhynutí lidstva, trvalá ztráta moci lidstva nad vlastní budoucností a kolaps civilizace.

Není to okrajová obava. V roce 2023 podepsaly stovky výzkumníků AI a šéfové OpenAI, Google DeepMind a Anthropic jednovětové prohlášení: „Snížení rizika vyhynutí v důsledku AI by mělo být globální prioritou vedle dalších rizik celospolečenského rozsahu, jako jsou pandemie a jaderná válka.“ V dosud největším průzkumu mezi výzkumníky AI (2 778 lidí, kteří publikují na předních konferencích o AI) přisoudilo 38 % až 51 % z nich alespoň 10% pravděpodobnost, že pokročilá AI povede k následkům tak vážným, jako je vyhynutí lidstva.

Vede k tomu několik cest. Atlas je třídí podle příčiny: zneužití (lidé, kteří AI používají ke škodě), nesladění (AI, která sleduje cíle, jež nikdo nezamýšlel) a systémová rizika, která se hromadí ve společnosti, zhoršovaná „zesilovači rizik“, jako je závod mezi firmami a státy. Společným jmenovatelem je, že škody by se potom nemusely dát napravit, a proto je nutné jim předcházet.