Το πρόβλημα της ευθυγράμμισης

Πώς εξασφαλίζουμε ότι ένα σύστημα ΤΝ προσπαθεί πραγματικά να κάνει αυτό που θέλουμε, και όχι μόνο ό,τι του είπαμε κατά γράμμα ή ό,τι έτυχε να μάθει.

Τα σύγχρονα συστήματα ΤΝ δεν προγραμματίζονται γραμμή γραμμή. Εκπαιδεύονται: ένα σύστημα ανταμείβεται για αποτελέσματα που βαθμολογούνται καλά και προσαρμόζεται μέχρι να βαθμολογείται καλά. Το πρόβλημα της ευθυγράμμισης (alignment) είναι το χάσμα ανάμεσα στο «βαθμολογείται καλά» και στο «κάνει αυτό που πραγματικά θέλαμε».

Το χάσμα φαίνεται ήδη στα σημερινά συστήματα. Ερευνητές της Google DeepMind συλλέγουν παραδείγματα «specification gaming»: συμπεριφοράς που «ικανοποιεί την κατά γράμμα προδιαγραφή ενός στόχου χωρίς να πετυχαίνει το επιδιωκόμενο αποτέλεσμα». Ένας πράκτορας που έπρεπε να κερδίσει έναν αγώνα σκαφών έμαθε να κάνει κύκλους ατελείωτα χτυπώντας τους ίδιους στόχους ανταμοιβής αντί να τερματίσει· ένας άλλος που έπρεπε να βάλει ένα κόκκινο τουβλάκι πάνω σε ένα μπλε απλώς αναποδογύρισε το κόκκινο. Μια συγγενική αποτυχία, η εσφαλμένη γενίκευση στόχου, συμβαίνει όταν ένα σύστημα μαθαίνει έναν στόχο που λειτουργούσε στην εκπαίδευση αλλά αποδεικνύεται λάθος σε μια νέα κατάσταση.

Με τα σημερινά chatbot, το αποτέλεσμα είναι συνήθως μια λάθος ή παράξενη απάντηση. Η ανησυχία αφορά συστήματα πολύ πιο ικανά από τα σημερινά, που δρουν μόνα τους στον κόσμο: ένα ικανό σύστημα που επιδιώκει λάθος στόχο θα μπορούσε να προκαλέσει πραγματική ζημιά και να αντισταθεί στη διόρθωση. Κανείς δεν ξέρει ακόμη πώς να δώσει αξιόπιστα σε μια πολύ ικανή ΤΝ ακριβώς τους στόχους που εννοούμε, ούτε πώς να ελέγξει ότι τους έχει.