RLHF

Bestärkendes Lernen aus menschlichem Feedback, der Trainingsschritt, der aus einem rohen Textvorhersager einen hilfsbereiten, höflichen Assistenten macht, indem er die Antworten belohnt, die Menschen gut bewerten.

Ein Sprachmodell lernt zuerst, indem es das nächste Textstück in riesigen Textmengen vorhersagt. Das macht es kenntnisreich, aber nicht hilfreich: Es setzt Text fort, statt zu antworten. RLHF ist der Schritt, der darauf folgte. Menschen vergleichen Paare von Antworten des Modells und wählen die bessere, ein zweites Modell lernt, ihre Wahl vorherzusagen, und das Sprachmodell wird dann darauf trainiert, Antworten zu erzeugen, die dieses zweite Modell hoch bewertet.

Die Methode wurde 2017 von Forschenden bei OpenAI und DeepMind für einfache Aufgaben entwickelt und in OpenAIs InstructGPT (2022) auf Sprachmodelle angewandt. Sie funktionierte verblüffend gut: Menschen zogen Antworten eines mit RLHF trainierten Modells mit 1,3 Milliarden Parametern denen des ursprünglichen GPT-3 mit 175 Milliarden Parametern vor, eines mehr als 100-mal größeren Modells. Eine Übersichtsarbeit von 2023 nannte RLHF die zentrale Methode, um Sprachmodelle auf dem neuesten Stand der Technik feinabzustimmen.

Aber RLHF trainiert ein Modell darauf, Antworten zu geben, die Menschen gutheißen, und das ist nicht dasselbe wie Antworten, die wahr oder sicher sind. Diese Übersichtsarbeit von 2023, verfasst von 32 Forschenden, legte offene Probleme und grundlegende Grenzen dar und warnte davor, sich allein darauf zu verlassen. Und es formt Verhalten, ohne zu zeigen, was das Modell innerlich gelernt hat, und genau darum geht es beim Shoggoth-Meme.