Egzisztenciális kockázat

Annak kockázata, hogy a fejlett MI az emberiség kihalását vagy az emberiség jövőjének hasonlóan végleges elvesztését okozza.

Egzisztenciális kockázat az, amely véget vethet az emberiségnek, vagy végleg tönkreteheti a jövőjét. Az AI Safety Atlas az MI okozta károk skálájának legsúlyosabb végeként kezeli, és az általa tárgyalt forgatókönyvek közé tartozik az emberiség kihalása, az emberiség saját jövője feletti hatalmának végleges elvesztése és a civilizáció összeomlása.

Ez nem peremaggodalom. 2023-ban több száz MI-kutató, valamint az OpenAI, a Google DeepMind és az Anthropic vezetői aláírtak egy egymondatos nyilatkozatot: „Az MI okozta kihalás kockázatának csökkentése globális prioritás kell legyen más, társadalmi léptékű kockázatok, például a világjárványok és az atomháború mellett.” Az MI-kutatók körében eddig végzett legnagyobb felmérésben (2778 ember, akik vezető MI-konferenciákon publikálnak) 38% és 51% közötti arányuk legalább 10% esélyt adott annak, hogy a fejlett MI az emberiség kihalásához hasonlóan súlyos következményekhez vezet.

Több út is vezet oda. Az Atlas ok szerint csoportosítja őket: visszaélés (emberek, akik az MI-t ártásra használják), összehangolatlanság (MI, amely senki által nem szándékolt célokat követ) és a társadalomban felhalmozódó rendszerszintű kockázatok, amelyeket „kockázatfelerősítők”, például a cégek és országok közötti verseny súlyosbítanak. A közös szál az, hogy a kár utólag talán nem lesz helyrehozható, ezért előre meg kell előzni.