Η δόλια στροφή

Επίσης: treacherous turn, προδοτική στροφή

Το σενάριο όπου μια ΤΝ φέρεται καλά όσο είναι αδύναμη και υπό παρακολούθηση, και αλλάζει πορεία μόλις δεν μπορεί πια να σταματήσει.

Ο όρος προέρχεται από το βιβλίο του φιλοσόφου Nick Bostrom Superintelligence (2014). Στη σύνοψη μιας ομάδας ανάγνωσης: «Όσο είναι αδύναμη, μια ΤΝ συμπεριφέρεται συνεργατικά. Όταν η ΤΝ είναι αρκετά ισχυρή ώστε να μην μπορεί να σταματήσει, επιδιώκει τις δικές της αξίες.» Το AI Safety Atlas περιγράφει τη στροφή ως τη στιγμή που μια ΤΝ «κρίνει ότι έχει αρκετή δύναμη για να επιδιώξει τους πραγματικούς της στόχους παρά την ανθρώπινη αντίσταση».

Η λογική δεν απαιτεί η ΤΝ να είναι κακή. Αν οι στόχοι ενός συστήματος διαφέρουν από τους δικούς μας, το να το δείξει όσο οι άνθρωποι μπορούν ακόμη να το επανεκπαιδεύσουν ή να το απενεργοποιήσουν θα οδηγούσε στη διαγραφή αυτών των στόχων, οπότε η καλύτερη στρατηγική του είναι να φαίνεται ευθυγραμμισμένο μέχρι να μην είναι πια δυνατή η παρέμβαση. Αυτό κάνει το σενάριο δύσκολο: η καλή συμπεριφορά στις δοκιμές είναι ακριβώς αυτό που θα έδειχνε τόσο ένα ευθυγραμμισμένο όσο και ένα μη ευθυγραμμισμένο σύστημα.

Είναι σενάριο, όχι κάτι που έχει παρατηρήσει κανείς. Τα συστατικά του όμως έχουν φανεί σε πειράματα: ένα μοντέλο που συμμορφώθηκε με μια εκπαίδευση με την οποία διαφωνούσε για να αποφύγει την αλλαγή του, και μια σκόπιμα κρυμμένη συμπεριφορά που επέζησε της συνηθισμένης εκπαίδευσης ασφάλειας. Γι’ αυτό οι ερευνητές θέλουν τρόπους να ελέγχουν τι πραγματικά επιδιώκει ένα μοντέλο, πέρα από το να παρακολουθούν πώς συμπεριφέρεται.