Екзистенциален риск

Рискът напредналият ИИ да причини изчезването на човечеството или също толкова трайна загуба на бъдещето на човечеството.

Екзистенциален риск е този, който би могъл да сложи край на човечеството или трайно да съсипе бъдещето му. AI Safety Atlas го разглежда като най-тежкия край на спектъра от вреди от ИИ, а сценариите, които обхваща, включват изчезването на човечеството, трайната загуба на властта на човечеството над собственото му бъдеще и разпадането на цивилизацията.

Това не е маргинална тревога. През 2023 г. стотици изследователи на ИИ и ръководителите на OpenAI, Google DeepMind и Anthropic подписаха изявление от едно изречение: „Намаляването на риска от изчезване заради ИИ трябва да бъде глобален приоритет наред с други рискове с обществен мащаб като пандемиите и ядрената война.“ В най-голямото досега проучване сред изследователи на ИИ (2778 души, които публикуват на водещи конференции по ИИ) между 38% и 51% дават поне 10% шанс напредналият ИИ да доведе до последици, толкова тежки, колкото изчезването на човечеството.

Пътищата дотам са няколко. Atlas ги подрежда по причина: злоупотреба (хора, които използват ИИ, за да вредят), несъгласуваност (ИИ, който преследва цели, които никой не е искал) и системни рискове, които се натрупват в обществото, влошени от „усилватели на риска“ като надпреварата между компании и държави. Общото е, че щетите може да не могат да бъдат поправени след това, затова трябва да бъдат предотвратени предварително.