Eksistentiel risiko

Risikoen for, at avanceret AI forårsager menneskehedens udslettelse eller et lignende permanent tab af menneskehedens fremtid.

En eksistentiel risiko er en, der kunne gøre en ende på menneskeheden eller permanent ødelægge dens fremtid. AI Safety Atlas behandler den som den alvorligste ende af en række AI-skader, og de scenarier, den dækker, omfatter menneskehedens udslettelse, at menneskeheden permanent mister magten over sin egen fremtid, og civilisationens sammenbrud.

Det er ikke en randbekymring. I 2023 underskrev hundredvis af AI-forskere og cheferne for OpenAI, Google DeepMind og Anthropic en erklæring på én sætning: »At mindske risikoen for udslettelse på grund af AI bør være en global prioritet sammen med andre samfundsomfattende risici som pandemier og atomkrig.« I den hidtil største undersøgelse blandt AI-forskere (2.778 personer, der publicerer på førende AI-konferencer) gav mellem 38 % og 51 % mindst 10 % sandsynlighed for, at avanceret AI fører til konsekvenser, der er lige så slemme som menneskehedens udslettelse.

Der er flere veje dertil. Atlas inddeler dem efter årsag: misbrug (mennesker, der bruger AI til at gøre skade), fejlafstemning (AI, der forfølger mål, ingen havde til hensigt) og systemiske risici, der hober sig op i samfundet, forværret af »risikoforstærkere« som kapløbet mellem virksomheder og lande. Den røde tråd er, at skaden måske ikke kan rettes bagefter, så den må forebygges på forhånd.