Existentiell risk

Risken att avancerad AI orsakar att mänskligheten dör ut, eller en lika permanent förlust av mänsklighetens framtid.

En existentiell risk är en risk som skulle kunna göra slut på mänskligheten eller permanent förstöra dess framtid. AI Safety Atlas behandlar den som den allvarligaste änden av en rad AI-skador, och scenarierna den tar upp omfattar att mänskligheten dör ut, att mänskligheten permanent förlorar makten över sin egen framtid och att civilisationen kollapsar.

Det är ingen marginell oro. 2023 skrev hundratals AI-forskare och cheferna för OpenAI, Google DeepMind och Anthropic under ett uttalande på en mening: ”Att minska risken för utrotning orsakad av AI bör vara en global prioritet vid sidan av andra samhällsomfattande risker som pandemier och kärnvapenkrig.” I den hittills största enkäten bland AI-forskare (2 778 personer som publicerar vid ledande AI-konferenser) gav mellan 38 % och 51 % minst 10 % sannolikhet att avancerad AI leder till följder lika allvarliga som att mänskligheten dör ut.

Det finns flera vägar dit. Atlas sorterar dem efter orsak: missbruk (människor som använder AI för att skada), felanpassning (AI som driver mål ingen avsåg) och systemrisker som byggs upp i samhället, förvärrade av ”riskförstärkare” som kapplöpningen mellan företag och länder. Den röda tråden är att skadan kanske inte går att rätta till i efterhand, så den måste förhindras i förväg.