RLHF

Skatinamasis mokymasis iš žmonių grįžtamojo ryšio – mokymo žingsnis, kuris paverčia neapdorotą teksto numatytoją paslaugiu, mandagiu asistentu, apdovanodamas atsakymus, kuriuos žmonės vertina aukštai.

Kalbos modelis pirmiausia mokosi numatydamas kitą teksto dalį milžiniškame rašytinės medžiagos kiekyje. Dėl to jis daug žino, bet nėra paslaugus: tęsia tekstą, užuot atsakęs. RLHF yra žingsnis, kuris sekė po to. Žmonės lygina modelio atsakymų poras ir pasirenka geresnį, antrasis modelis išmoksta numatyti jų pasirinkimus, o kalbos modelis tada mokomas pateikti atsakymus, kuriuos šis antrasis modelis vertina aukštai.

Metodą paprastoms užduotims 2017 m. sukūrė OpenAI ir DeepMind tyrėjai, o kalbos modeliams jis pritaikytas OpenAI InstructGPT (2022). Jis veikė stulbinamai gerai: žmonės labiau mėgo RLHF apmokyto modelio su 1,3 mlrd. parametrų atsakymus nei originalaus GPT-3 su 175 mlrd. parametrų, t. y. daugiau nei 100 kartų didesnio modelio, atsakymus. 2023 m. apžvalgoje RLHF pavadintas pagrindiniu pažangiausių kalbos modelių derinimo metodu.

Tačiau RLHF moko modelį pateikti atsakymus, kuriems žmonės pritaria, o tai nėra tas pats, kas teisingi ar saugūs atsakymai. Ta pati 2023 m. apžvalga, kurią parašė 32 tyrėjai, išdėstė atviras jo problemas ir esminius apribojimus bei įspėjo nesikliauti vien juo. Be to, jis formuoja elgesį, neparodydamas, ko modelis išmoko viduje, ir būtent apie tai yra šogoto memas.