Risc existențial

Riscul ca IA avansată să provoace dispariția omenirii sau o pierdere la fel de permanentă a viitorului omenirii.

Un risc existențial este unul care ar putea pune capăt omenirii sau i-ar putea distruge definitiv viitorul. AI Safety Atlas îl tratează drept capătul cel mai grav al unei game de daune provocate de IA, iar scenariile pe care le acoperă includ dispariția omenirii, pierderea definitivă de către omenire a puterii asupra propriului viitor și prăbușirea civilizației.

Nu este o îngrijorare marginală. În 2023, sute de cercetători IA și șefii OpenAI, Google DeepMind și Anthropic au semnat o declarație de o singură frază: „Reducerea riscului de extincție cauzat de IA ar trebui să fie o prioritate globală, alături de alte riscuri la scară societală, precum pandemiile și războiul nuclear.” În cel mai mare sondaj de până acum printre cercetătorii IA (2.778 de persoane care publică la cele mai importante conferințe IA), între 38% și 51% au acordat cel puțin 10% șanse ca IA avansată să ducă la consecințe la fel de grave ca dispariția omenirii.

Există mai multe drumuri până acolo. Atlas le ordonează după cauză: utilizarea abuzivă (oameni care folosesc IA ca să facă rău), nealinierea (IA care urmărește obiective pe care nu le-a intenționat nimeni) și riscurile sistemice care se acumulează în societate, agravate de „amplificatori de risc” precum cursa dintre companii și țări. Firul comun este că paguba s-ar putea să nu mai poată fi reparată după aceea, așa că trebuie prevenită din timp.