RLHF

Förstärkningsinlärning från mänsklig återkoppling, det träningssteg som gör en rå textförutsägare till en hjälpsam, artig assistent genom att belöna de svar som folk betygsätter högt.

En språkmodell lär sig först genom att förutsäga nästa textbit i en enorm mängd skrivet material. Det gör den kunnig men inte hjälpsam: den fortsätter text i stället för att svara. RLHF är steget som följde. Människor jämför par av modellens svar och väljer det bättre, en andra modell lär sig förutsäga deras val, och språkmodellen tränas sedan att ge svar som den andra modellen ger höga poäng.

Metoden utvecklades för enkla uppgifter 2017 av forskare på OpenAI och DeepMind och tillämpades på språkmodeller i OpenAI:s InstructGPT (2022). Den fungerade slående bra: folk föredrog svar från en RLHF-tränad modell med 1,3 miljarder parametrar framför svar från den ursprungliga GPT-3 med 175 miljarder parametrar, en modell över 100 gånger större. En översiktsartikel från 2023 kallade RLHF den centrala metoden för att finjustera de mest avancerade språkmodellerna.

Men RLHF tränar en modell att ge svar som folk godkänner, och det är inte samma sak som svar som är sanna eller säkra. Den översiktsartikeln från 2023, skriven av 32 forskare, redogjorde för metodens öppna problem och grundläggande begränsningar och varnade för att förlita sig enbart på den. Och den formar beteende utan att visa vad modellen har lärt sig inuti, vilket är poängen med shoggoth-memet.