RLHF

Vahvistusoppiminen ihmispalautteesta, koulutusvaihe, joka tekee raa’asta tekstinennustajasta avuliaan ja kohteliaan avustajan palkitsemalla vastaukset, jotka ihmiset arvioivat korkealle.

Kielimalli oppii ensin ennustamalla seuraavan tekstinpätkän valtavassa määrässä kirjoitettua materiaalia. Se tekee siitä tietävän mutta ei avuliasta: se jatkaa tekstiä vastaamisen sijaan. RLHF on vaihe, joka tuli sen jälkeen. Ihmiset vertaavat mallin vastauspareja ja valitsevat paremman, toinen malli oppii ennustamaan heidän valintansa, ja kielimalli koulutetaan sitten tuottamaan vastauksia, jotka tämä toinen malli pisteyttää korkealle.

Menetelmän kehittivät yksinkertaisia tehtäviä varten vuonna 2017 OpenAI:n ja DeepMindin tutkijat, ja sitä sovellettiin kielimalleihin OpenAI:n InstructGPT:ssä (2022). Se toimi silmiinpistävän hyvin: ihmiset suosivat RLHF:llä koulutetun 1,3 miljardin parametrin mallin vastauksia alkuperäisen 175 miljardin parametrin GPT-3:n vastausten sijaan, vaikka jälkimmäinen oli yli 100 kertaa suurempi. Vuoden 2023 katsausartikkeli kutsui RLHF:ää keskeiseksi menetelmäksi huippuluokan kielimallien hienosäätöön.

Mutta RLHF kouluttaa mallin antamaan vastauksia, jotka ihmiset hyväksyvät, eikä se ole sama asia kuin totuudenmukaiset tai turvalliset vastaukset. Tuo vuoden 2023 katsausartikkeli, jonka kirjoitti 32 tutkijaa, esitteli menetelmän avoimet ongelmat ja perustavat rajoitukset ja varoitti luottamasta pelkästään siihen. Lisäksi se muovaa käyttäytymistä paljastamatta, mitä malli on sisäisesti oppinut, ja juuri siitä shoggoth-meemissä on kyse.