RLHF

Foghlaim threisithe ó aiseolas daonna, an chéim traenála a iompaíonn tuarthóir téacs amh ina chúntóir cabhrach béasach, trí luach saothair a thabhairt do na freagraí a mheasann daoine go hard.

Foghlaimíonn samhail teanga ar dtús tríd an gcéad phíosa téacs eile a thuar thar mhéid ollmhór scríbhneoireachta. Fágann sé sin eolach í ach ní cabhrach: leanann sí ar aghaidh leis an téacs seachas freagra a thabhairt. Is é RLHF an chéim a tháinig ina dhiaidh sin. Cuireann daoine péirí freagraí ón tsamhail i gcomparáid agus roghnaíonn siad an ceann is fearr, foghlaimíonn an dara samhail a roghanna a thuar, agus ansin traenáiltear an tsamhail teanga chun freagraí a thabhairt a fhaigheann scór ard ón dara samhail sin.

D’fhorbair taighdeoirí ag OpenAI agus DeepMind an modh do thascanna simplí in 2017, agus cuireadh i bhfeidhm é ar shamhlacha teanga in InstructGPT OpenAI (2022). D’oibrigh sé thar barr: b’fhearr le daoine freagraí ó shamhail a traenáladh le RLHF a raibh 1.3 billiún paraiméadar aici ná freagraí ón GPT-3 bunaidh a raibh 175 billiún paraiméadar aige, samhail a bhí níos mó ná 100 uair níos mó. Thug athbhreithniú in 2023 an modh lárnach ar RLHF chun samhlacha teanga den scoth a mhionchoigeartú.

Ach traenálann RLHF samhail chun freagraí a thabhairt a gceadaíonn daoine iad, rud nach ionann agus freagraí atá fíor nó sábháilte. Leag an t-athbhreithniú sin de chuid 2023, le 32 taighdeoir, amach a fhadhbanna oscailte agus a theorainneacha bunúsacha, agus thug sé rabhadh gan brath air amháin. Agus múnlaíonn sé iompar gan a thaispeáint cad atá foghlamtha ag an tsamhail taobh istigh, agus sin é pointe mhím an shoggoth.