RLHF

Reinforcement learning from human feedback, de trainingsstap die van een ruwe tekstvoorspeller een behulpzame, beleefde assistent maakt door de antwoorden te belonen die mensen hoog waarderen.

Een taalmodel leert eerst door het volgende stukje tekst te voorspellen in een enorme hoeveelheid geschreven materiaal. Dat maakt het deskundig, maar niet behulpzaam: het zet tekst voort in plaats van te antwoorden. RLHF is de stap die daarop volgde. Mensen vergelijken paren antwoorden van het model en kiezen het betere, een tweede model leert hun keuzes te voorspellen, en het taalmodel wordt daarna getraind om antwoorden te geven die dat tweede model hoog scoort.

De methode werd in 2017 door onderzoekers bij OpenAI en DeepMind ontwikkeld voor eenvoudige taken, en in OpenAI’s InstructGPT (2022) toegepast op taalmodellen. Ze werkte opvallend goed: mensen gaven de voorkeur aan antwoorden van een met RLHF getraind model met 1,3 miljard parameters boven die van het oorspronkelijke GPT-3 met 175 miljard parameters, een model dat meer dan 100 keer zo groot is. Een overzichtsartikel uit 2023 noemde RLHF de centrale methode om de nieuwste taalmodellen bij te schaven.

Maar RLHF traint een model om antwoorden te geven die mensen goedkeuren, en dat is niet hetzelfde als antwoorden die waar of veilig zijn. Dat overzichtsartikel uit 2023, van 32 onderzoekers, zette de open problemen en fundamentele beperkingen uiteen en waarschuwde ertegen er alleen op te vertrouwen. En het vormt gedrag zonder te laten zien wat het model vanbinnen heeft geleerd, en daar draait de shoggoth-meme om.