RLHF

Spodbujevalno učenje s človeškimi povratnimi informacijami, korak učenja, ki iz surovega napovedovalnika besedila naredi ustrežljivega, vljudnega pomočnika, tako da nagrajuje odgovore, ki jih ljudje visoko ocenijo.

Jezikovni model se najprej uči tako, da napoveduje naslednji košček besedila v ogromni količini zapisov. Zaradi tega veliko ve, ni pa koristen: besedilo nadaljuje, namesto da bi odgovoril. RLHF je korak, ki je sledil. Ljudje primerjajo pare odgovorov modela in izberejo boljšega, drugi model se nauči napovedovati njihove izbire, jezikovni model pa se nato uči tvoriti odgovore, ki jih ta drugi model visoko oceni.

Metodo so za preproste naloge leta 2017 razvili raziskovalci pri OpenAI in DeepMind, na jezikovnih modelih pa jo je uporabil OpenAI v InstructGPT (2022). Delovala je presenetljivo dobro: ljudje so imeli raje odgovore modela, naučenega z RLHF, z 1,3 milijarde parametrov kot odgovore izvirnega GPT-3 s 175 milijardami parametrov, torej modela, več kot 100-krat večjega. Pregledni članek iz leta 2023 je RLHF označil za osrednjo metodo prilagajanja najsodobnejših jezikovnih modelov.

A RLHF model uči dajati odgovore, ki jih ljudje odobravajo, to pa ni isto kot odgovori, ki so resnični ali varni. Ta pregledni članek iz leta 2023, ki ga je napisalo 32 raziskovalcev, je predstavil njegove odprte težave in temeljne omejitve ter svaril pred zanašanjem le nanj. Poleg tega oblikuje vedenje, ne da bi pokazal, kaj se je model naučil v notranjosti, in prav o tem govori mem s shoggothom.