Υπαρξιακός κίνδυνος

Ο κίνδυνος η προηγμένη ΤΝ να προκαλέσει την εξαφάνιση της ανθρωπότητας ή μια εξίσου μόνιμη απώλεια του μέλλοντός της.

Υπαρξιακός κίνδυνος είναι αυτός που θα μπορούσε να τερματίσει την ανθρωπότητα ή να καταστρέψει μόνιμα το μέλλον της. Το AI Safety Atlas τον αντιμετωπίζει ως το πιο σοβαρό άκρο ενός φάσματος βλαβών από την ΤΝ, και τα σενάρια που καλύπτει περιλαμβάνουν την εξαφάνιση της ανθρωπότητας, τη μόνιμη απώλεια της εξουσίας της ανθρωπότητας πάνω στο ίδιο της το μέλλον και την κατάρρευση του πολιτισμού.

Δεν είναι περιθωριακή ανησυχία. Το 2023, εκατοντάδες ερευνητές ΤΝ και οι επικεφαλής της OpenAI, της Google DeepMind και της Anthropic υπέγραψαν μια δήλωση μίας πρότασης: «Ο περιορισμός του κινδύνου εξαφάνισης από την ΤΝ θα πρέπει να είναι παγκόσμια προτεραιότητα, μαζί με άλλους κινδύνους κοινωνικής κλίμακας όπως οι πανδημίες και ο πυρηνικός πόλεμος.» Στη μεγαλύτερη έρευνα ανάμεσα σε ερευνητές ΤΝ ως τώρα (2.778 άτομα που δημοσιεύουν σε κορυφαία συνέδρια ΤΝ), από 38% έως 51% έδωσαν τουλάχιστον 10% πιθανότητα η προηγμένη ΤΝ να οδηγήσει σε συνέπειες τόσο σοβαρές όσο η εξαφάνιση της ανθρωπότητας.

Υπάρχουν αρκετοί δρόμοι ως εκεί. Το Atlas τους ταξινομεί ανά αιτία: κατάχρηση (άνθρωποι που χρησιμοποιούν την ΤΝ για να βλάψουν), κακή ευθυγράμμιση (ΤΝ που επιδιώκει στόχους που κανείς δεν σκόπευε) και συστημικοί κίνδυνοι που συσσωρεύονται στην κοινωνία, επιδεινωμένοι από «ενισχυτές κινδύνου» όπως ο αγώνας δρόμου ανάμεσα σε εταιρείες και χώρες. Το κοινό νήμα είναι ότι η ζημιά ίσως να μην μπορεί να διορθωθεί μετά, οπότε πρέπει να προληφθεί εκ των προτέρων.