RLHF

Stiimulõpe inimeste tagasisidest, treeningsamm, mis teeb toorest tekstiennustajast abivalmi ja viisaka assistendi, premeerides vastuseid, mida inimesed kõrgelt hindavad.

Keelemudel õpib kõigepealt, ennustades järgmist tekstijuppi tohutus kirjutatud materjali hulgas. See teeb ta teadlikuks, kuid mitte abivalmiks: ta jätkab teksti, selle asemel et vastata. RLHF on samm, mis järgnes. Inimesed võrdlevad mudeli vastuste paare ja valivad parema, teine mudel õpib nende valikuid ennustama ja seejärel treenitakse keelemudelit andma vastuseid, mida see teine mudel kõrgelt hindab.

Meetodi töötasid lihtsate ülesannete jaoks 2017. aastal välja OpenAI ja DeepMindi teadlased ning seda rakendati keelemudelitele OpenAI InstructGPT-s (2022). See toimis silmatorkavalt hästi: inimesed eelistasid RLHF-iga treenitud 1,3 miljardi parameetriga mudeli vastuseid algse 175 miljardi parameetriga GPT-3 vastustele, ehkki viimane oli üle 100 korra suurem. 2023. aasta ülevaateartikkel nimetas RLHF-i tipptasemel keelemudelite peenhäälestamise keskseks meetodiks.

Kuid RLHF treenib mudelit andma vastuseid, mida inimesed heaks kiidavad, ja see pole sama mis tõesed või ohutud vastused. See 32 teadlase kirjutatud 2023. aasta ülevaateartikkel tõi välja meetodi lahtised probleemid ja põhimõttelised piirangud ning hoiatas ainult sellele toetumise eest. Lisaks kujundab see käitumist, näitamata, mida mudel seesmiselt on õppinud, ja just sellest shoggothi meem räägibki.