Eksistenciāls risks

Risks, ka attīstīts MI izraisīs cilvēces izmiršanu vai tikpat neatgriezenisku cilvēces nākotnes zaudēšanu.

Eksistenciāls risks ir tāds, kas varētu izbeigt cilvēci vai neatgriezeniski sagraut tās nākotni. AI Safety Atlas to uzskata par MI kaitējuma spektra smagāko galu, un tā aplūkotie scenāriji ietver cilvēces izmiršanu, cilvēces neatgriezenisku varas zaudēšanu pār savu nākotni un civilizācijas sabrukumu.

Tās nav marginālas bažas. 2023. gadā simtiem MI pētnieku un OpenAI, Google DeepMind un Anthropic vadītāji parakstīja viena teikuma paziņojumu: “Izmiršanas riska, ko rada MI, mazināšanai jābūt globālai prioritātei līdzās citiem sabiedrības mēroga riskiem, piemēram, pandēmijām un kodolkaram.” Līdz šim lielākajā MI pētnieku aptaujā (2778 cilvēki, kas publicējas vadošajās MI konferencēs) no 38% līdz 51% vismaz 10% varbūtību piešķīra tam, ka attīstīts MI novedīs pie sekām, kas ir tikpat smagas kā cilvēces izmiršana.

Turp ved vairāki ceļi. Atlas tos iedala pēc cēloņa: ļaunprātīga izmantošana (cilvēki, kas izmanto MI, lai kaitētu), nesaskaņotība (MI, kas tiecas pēc mērķiem, ko neviens nav paredzējis) un sabiedrībā uzkrājušies sistēmiski riski, ko pastiprina “riska pastiprinātāji”, piemēram, uzņēmumu un valstu sacensība. Kopīgais ir tas, ka kaitējumu pēc tam var vairs nebūt iespējams labot, tāpēc tas jānovērš iepriekš.