RLHF

Ενισχυτική μάθηση από ανθρώπινη ανατροφοδότηση, το βήμα εκπαίδευσης που μετατρέπει έναν ακατέργαστο προβλέπτη κειμένου σε εξυπηρετικό, ευγενικό βοηθό, ανταμείβοντας τις απαντήσεις που οι άνθρωποι βαθμολογούν ψηλά.

Ένα γλωσσικό μοντέλο μαθαίνει πρώτα προβλέποντας το επόμενο κομμάτι κειμένου σε έναν τεράστιο όγκο γραπτών. Αυτό το κάνει γνώστη αλλά όχι χρήσιμο: συνεχίζει το κείμενο αντί να απαντά. Το RLHF είναι το βήμα που ακολούθησε. Άνθρωποι συγκρίνουν ζεύγη απαντήσεων του μοντέλου και διαλέγουν την καλύτερη, ένα δεύτερο μοντέλο μαθαίνει να προβλέπει τις επιλογές τους, και το γλωσσικό μοντέλο εκπαιδεύεται στη συνέχεια να δίνει απαντήσεις που αυτό το δεύτερο μοντέλο βαθμολογεί ψηλά.

Η μέθοδος αναπτύχθηκε για απλές εργασίες το 2017 από ερευνητές της OpenAI και της DeepMind και εφαρμόστηκε σε γλωσσικά μοντέλα στο InstructGPT της OpenAI (2022). Λειτούργησε εντυπωσιακά καλά: οι άνθρωποι προτιμούσαν τις απαντήσεις ενός μοντέλου εκπαιδευμένου με RLHF με 1,3 δισεκατομμύρια παραμέτρους από εκείνες του αρχικού GPT-3 με 175 δισεκατομμύρια παραμέτρους, ενός μοντέλου πάνω από 100 φορές μεγαλύτερου. Μια ανασκόπηση του 2023 χαρακτήρισε το RLHF κεντρική μέθοδο για τη λεπτομερή ρύθμιση των πιο προηγμένων γλωσσικών μοντέλων.

Όμως το RLHF εκπαιδεύει ένα μοντέλο να δίνει απαντήσεις που εγκρίνουν οι άνθρωποι, κάτι που δεν είναι το ίδιο με απαντήσεις αληθινές ή ασφαλείς. Εκείνη η ανασκόπηση του 2023, από 32 ερευνητές, παρουσίασε τα ανοιχτά προβλήματα και τους θεμελιώδεις περιορισμούς του και προειδοποίησε να μη βασιζόμαστε μόνο σε αυτό. Και διαμορφώνει τη συμπεριφορά χωρίς να δείχνει τι έχει μάθει το μοντέλο μέσα του, που είναι ακριβώς το νόημα του meme με το shoggoth.