RLHF

Tagħlim b’rinfurzar minn feedback mill-bniedem, il-pass tat-taħriġ li jbiddel tbassar mhux maħdum tat-test f’assistent utli u edukat, billi jippremja t-tweġibiet li n-nies jivvalutaw tajjeb.

Mudell tal-lingwa l-ewwel jitgħallem billi jbassar il-biċċa test li jmiss f’ammont kbir ta’ kitba. Dan jagħmlu infurmat iżda mhux utli: ikompli t-test minflok ma jwieġeb. RLHF huwa l-pass li ġie wara. In-nies iqabblu pari ta’ tweġibiet tal-mudell u jagħżlu l-aħjar waħda, it-tieni mudell jitgħallem ibassar l-għażliet tagħhom, u l-mudell tal-lingwa mbagħad jitħarreġ biex jipproduċi tweġibiet li dan it-tieni mudell jagħtihom punteġġ għoli.

Il-metodu ġie żviluppat għal kompiti sempliċi fl-2017 minn riċerkaturi f’OpenAI u DeepMind, u ġie applikat għal mudelli tal-lingwa f’InstructGPT ta’ OpenAI (2022). Ħadem tajjeb b’mod impressjonanti: in-nies ippreferew tweġibiet minn mudell imħarreġ b’RLHF b’1.3 biljun parametru fuq dawk tal-GPT-3 oriġinali b’175 biljun parametru, mudell aktar minn 100 darba akbar. Reviżjoni tal-2023 sejħet lil RLHF il-metodu ċentrali għall-irfinar tal-mudelli tal-lingwa l-aktar avvanzati.

Iżda RLHF iħarreġ mudell biex jagħti tweġibiet li n-nies japprovaw, li mhuwiex l-istess bħal tweġibiet li huma veri jew sikuri. Dik ir-reviżjoni tal-2023, minn 32 riċerkatur, spjegat il-problemi miftuħa u l-limitazzjonijiet fundamentali tiegħu u wissiet kontra li wieħed jistrieħ fuqu biss. U jsawwar l-imġiba mingħajr ma juri x’tgħallem il-mudell minn ġewwa, li huwa l-punt tal-meme tas-shoggoth.