RLHF

Podržano učenje iz ljudskih povratnih informacija, korak treniranja koji od sirovog prediktora teksta stvara uslužnog, pristojnog asistenta nagrađujući odgovore koje ljudi visoko ocjenjuju.

Jezični model najprije uči predviđajući sljedeći komadić teksta u golemoj količini napisanog materijala. To ga čini upućenim, ali ne i korisnim: nastavlja tekst umjesto da odgovori. RLHF je korak koji je uslijedio. Ljudi uspoređuju parove odgovora modela i biraju bolji, drugi model uči predviđati njihove izbore, a jezični se model zatim trenira da daje odgovore koje taj drugi model visoko ocjenjuje.

Metodu su za jednostavne zadatke 2017. razvili istraživači iz OpenAI-ja i DeepMinda, a na jezične modele primijenjena je u OpenAI-jevu InstructGPT-u (2022.). Funkcionirala je iznenađujuće dobro: ljudi su više voljeli odgovore modela treniranog s RLHF-om s 1,3 milijarde parametara nego odgovore izvornog GPT-3 sa 175 milijardi parametara, modela više od 100 puta većeg. Pregledni rad iz 2023. nazvao je RLHF središnjom metodom finog podešavanja najnaprednijih jezičnih modela.

Ali RLHF trenira model da daje odgovore koje ljudi odobravaju, a to nije isto što i odgovori koji su istiniti ili sigurni. Taj pregledni rad iz 2023., koji su napisala 32 istraživača, iznio je njegove otvorene probleme i temeljna ograničenja te upozorio da se ne treba oslanjati samo na njega. Uz to oblikuje ponašanje, a ne pokazuje što je model naučio iznutra, a upravo o tome govori mem sa shoggothom.