Egzistencinė rizika

Rizika, kad pažangus DI sukels žmonijos išnykimą arba panašiai negrįžtamą žmonijos ateities praradimą.

Egzistencinė rizika yra tokia, kuri galėtų pražudyti žmoniją arba visam laikui sugriauti jos ateitį. AI Safety Atlas ją laiko sunkiausiu DI žalos spektro galu, o jos aptariami scenarijai apima žmonijos išnykimą, negrįžtamą žmonijos galios savo ateičiai praradimą ir civilizacijos žlugimą.

Tai nėra marginalus rūpestis. 2023 m. šimtai DI tyrėjų ir OpenAI, Google DeepMind bei Anthropic vadovai pasirašė vieno sakinio pareiškimą: „Išnykimo dėl DI rizikos mažinimas turėtų būti pasaulinis prioritetas kartu su kitomis visuomeninio masto rizikomis, tokiomis kaip pandemijos ir branduolinis karas.“ Iki šiol didžiausioje DI tyrėjų apklausoje (2778 žmonės, publikuojantys pirmaujančiose DI konferencijose) nuo 38 % iki 51 % skyrė bent 10 % tikimybę, kad pažangus DI sukels pasekmių, tokių pat blogų kaip žmonijos išnykimas.

Ten veda keli keliai. Atlas juos skirsto pagal priežastį: piktnaudžiavimas (žmonės, naudojantys DI žalai daryti), nesuderinimas (DI, siekiantis tikslų, kurių niekas nenumatė) ir visuomenėje besikaupiančios sisteminės rizikos, kurias sustiprina „rizikos stiprintuvai“, tokie kaip bendrovių ir valstybių lenktynės. Bendra gija ta, kad žalos vėliau gali nebepavykti ištaisyti, todėl jai reikia užkirsti kelią iš anksto.