RLHF

Forstærkningslæring fra menneskelig feedback, det træningstrin, der gør en rå tekstforudsiger til en hjælpsom, høflig assistent ved at belønne de svar, folk vurderer højt.

En sprogmodel lærer først ved at forudsige det næste stykke tekst i en enorm mængde skrevet materiale. Det gør den vidende, men ikke hjælpsom: Den fortsætter tekst i stedet for at svare. RLHF er det trin, der fulgte. Mennesker sammenligner par af modellens svar og vælger det bedste, en anden model lærer at forudsige deres valg, og sprogmodellen trænes derefter til at give svar, som den anden model scorer højt.

Metoden blev udviklet til simple opgaver i 2017 af forskere hos OpenAI og DeepMind og anvendt på sprogmodeller i OpenAI’s InstructGPT (2022). Den virkede påfaldende godt: Folk foretrak svar fra en RLHF-trænet model med 1,3 milliarder parametre frem for svar fra den oprindelige GPT-3 med 175 milliarder parametre, en model over 100 gange større. En oversigtsartikel fra 2023 kaldte RLHF den centrale metode til finjustering af de mest avancerede sprogmodeller.

Men RLHF træner en model til at give svar, som folk godkender, og det er ikke det samme som svar, der er sande eller sikre. Den oversigtsartikel fra 2023, skrevet af 32 forskere, beskrev metodens åbne problemer og grundlæggende begrænsninger og advarede mod at stole på den alene. Og den former adfærd uden at vise, hvad modellen har lært indeni, hvilket er pointen med shoggoth-memet.