RLHF

Stimulētā mācīšanās no cilvēku atgriezeniskās saites — apmācības solis, kas neapstrādātu teksta paredzētāju pārvērš izpalīdzīgā, pieklājīgā asistentā, atalgojot atbildes, ko cilvēki novērtē augstu.

Valodas modelis vispirms mācās, paredzot nākamo teksta gabalu milzīgā rakstītā materiāla daudzumā. Tas padara to zinošu, bet ne izpalīdzīgu: tas turpina tekstu, nevis atbild. RLHF ir solis, kas sekoja. Cilvēki salīdzina modeļa atbilžu pārus un izvēlas labāko, otrs modelis iemācās paredzēt viņu izvēles, un pēc tam valodas modeli apmāca sniegt atbildes, ko šis otrais modelis novērtē augstu.

Metodi vienkāršiem uzdevumiem 2017. gadā izstrādāja OpenAI un DeepMind pētnieki, un valodas modeļiem tā tika piemērota OpenAI InstructGPT (2022). Tā darbojās pārsteidzoši labi: cilvēki deva priekšroku ar RLHF apmācīta modeļa ar 1,3 miljardiem parametru atbildēm, nevis sākotnējā GPT-3 ar 175 miljardiem parametru atbildēm, lai gan pēdējais bija vairāk nekā 100 reižu lielāks. 2023. gada pārskatā RLHF tika nosaukta par centrālo metodi modernāko valodas modeļu pielāgošanai.

Taču RLHF apmāca modeli sniegt atbildes, ko cilvēki atbalsta, un tas nav tas pats, kas patiesas vai drošas atbildes. Šajā 2023. gada pārskatā, ko uzrakstīja 32 pētnieki, tika izklāstītas metodes atvērtās problēmas un būtiskie ierobežojumi un brīdināts nepaļauties tikai uz to. Turklāt tā veido uzvedību, neparādot, ko modelis iekšēji iemācījies, un tieši par to ir šogota mēms.