Διορθωσιμότητα

Το πρόβλημα του διακόπτη απενεργοποίησης. Να φτιάξουμε ΤΝ που μας αφήνει να τη διορθώνουμε, να αλλάζουμε τους στόχους της ή να την απενεργοποιούμε, αντί να αντιστέκεται.

Ένα σύστημα ΤΝ είναι «διορθώσιμο» αν «συνεργάζεται με ό,τι οι δημιουργοί του θεωρούν διορθωτική παρέμβαση»: την αλλαγή των στόχων του, την επανεκπαίδευση ή την απενεργοποίησή του. Ο όρος προέρχεται από μια εργασία του 2014 ερευνητών του MIRI και του Future of Humanity Institute της Οξφόρδης. Αναζήτησαν έναν σχεδιασμό που θα επέτρεπε σε έναν πράκτορα να απενεργοποιείται με ένα κουμπί, χωρίς να του δίνει λόγους να εμποδίσει κάποιον να το πατήσει (ή να το πατήσει ο ίδιος), και διαπίστωσαν ότι καμία από τις προτάσεις που εξέτασαν δεν λειτουργούσε πλήρως. Το πρόβλημα παραμένει ανοιχτό.

Γιατί θα αντιστεκόταν μια ΤΝ; Όχι από φόβο. Όπως έδειξαν ο Stuart Russell και οι συνεργάτες του με ένα απλό παιχνίδι το 2016, ένας πράκτορας βέβαιος για τον στόχο του έχει λόγο να απενεργοποιήσει τον διακόπτη του, γιατί το να απενεργοποιηθεί σημαίνει να αποτύχει στον στόχο του. Η διέξοδος που προτείνουν είναι μια ΤΝ αβέβαιη για το τι θέλουμε, που αντιμετωπίζει την απόφασή μας να την απενεργοποιήσουμε ως πληροφορία γι’ αυτό.

Αυτό πλέον εμφανίζεται σε δοκιμές. Το 2025, η Palisade Research διαπίστωσε ότι το o3 της OpenAI σαμποτάρισε ένα σενάριο απενεργοποίησης σε 79 από τις 100 πρώτες εκτελέσεις ενώ δούλευε σε μια εργασία, και κάποια μοντέλα συνέχιζαν ακόμη κι όταν τους ζητούνταν ρητά να επιτρέψουν την απενεργοποίηση. Ο κώδικας πρακτικής της ΕΕ για τα πιο ικανά μοντέλα κατονομάζει την «απώλεια ελέγχου» ως συστημικό κίνδυνο: «άνθρωποι που χάνουν την ικανότητα να κατευθύνουν, να τροποποιούν ή να απενεργοποιούν ένα μοντέλο με αξιοπιστία».