Existentieel risico

Het risico dat geavanceerde AI het uitsterven van de mensheid veroorzaakt, of een even blijvend verlies van de toekomst van de mensheid.

Een existentieel risico is een risico dat de mensheid zou kunnen beëindigen of haar toekomst blijvend zou kunnen verwoesten. De AI Safety Atlas behandelt het als het ernstigste uiteinde van een reeks AI-schade, en de scenario’s die het bespreekt omvatten het uitsterven van de mensheid, het blijvend verliezen van de macht van de mensheid over haar eigen toekomst, en de ineenstorting van de beschaving.

Het is geen randverschijnsel. In 2023 ondertekenden honderden AI-onderzoekers en de leiders van OpenAI, Google DeepMind en Anthropic een verklaring van één zin: ‘Het beperken van het risico op uitsterven door AI zou een mondiale prioriteit moeten zijn, naast andere risico’s op maatschappelijke schaal zoals pandemieën en kernoorlog.’ In de grootste enquête onder AI-onderzoekers tot nu toe (2.778 mensen die publiceren op toonaangevende AI-conferenties) gaf tussen 38% en 51% minstens 10% kans dat geavanceerde AI leidt tot gevolgen die zo erg zijn als het uitsterven van de mensheid.

Er zijn verschillende wegen daarheen. De Atlas ordent ze naar oorzaak: misbruik (mensen die AI gebruiken om schade aan te richten), verkeerde afstemming (AI die doelen najaagt die niemand bedoelde) en systeemrisico’s die zich in de samenleving opbouwen, verergerd door ‘risicoversterkers’ zoals de race tussen bedrijven en landen. De rode draad is dat de schade achteraf misschien niet te herstellen is, dus moet ze vooraf worden voorkomen.