Eksistencialno tveganje

Tveganje, da napredna UI povzroči izumrtje človeštva ali podobno trajno izgubo prihodnosti človeštva.

Eksistencialno tveganje je tisto, ki bi lahko končalo človeštvo ali trajno uničilo njegovo prihodnost. AI Safety Atlas ga obravnava kot najhujši konec razpona škode, ki jo povzroča UI, scenariji, ki jih zajema, pa vključujejo izumrtje človeštva, trajno izgubo moči človeštva nad lastno prihodnostjo in propad civilizacije.

To ni obrobna skrb. Leta 2023 so stotine raziskovalcev UI ter vodje OpenAI, Google DeepMind in Anthropic podpisali izjavo iz enega stavka: »Zmanjševanje tveganja izumrtja zaradi UI bi moralo biti svetovna prednostna naloga ob drugih tveganjih družbenih razsežnosti, kot so pandemije in jedrska vojna.« V doslej največji raziskavi med raziskovalci UI (2778 ljudi, ki objavljajo na vodilnih konferencah o UI) jih je od 38 % do 51 % pripisalo vsaj 10-odstotno verjetnost, da bo napredna UI privedla do posledic, ki so tako hude kot izumrtje človeštva.

Do tja vodi več poti. Atlas jih razvršča po vzroku: zloraba (ljudje, ki UI uporabljajo za škodo), neusklajenost (UI, ki zasleduje cilje, ki jih nihče ni nameraval) in sistemska tveganja, ki se kopičijo v družbi, poslabšujejo pa jih »ojačevalniki tveganj«, kot je tekma med podjetji in državami. Skupna nit je, da škode morda pozneje ne bo mogoče popraviti, zato jo je treba preprečiti vnaprej.