RLHF

Megerősítéses tanulás emberi visszajelzésből: az a tanítási lépés, amely egy nyers szöveg-előrejelzőből segítőkész, udvarias asszisztenst csinál azáltal, hogy jutalmazza az emberek által jónak értékelt válaszokat.

Egy nyelvi modell először úgy tanul, hogy hatalmas mennyiségű írott szövegben előre jelzi a következő szövegdarabot. Ettől tájékozott lesz, de nem segítőkész: folytatja a szöveget ahelyett, hogy válaszolna. Az RLHF az ezt követő lépés. Emberek összehasonlítják a modell válaszpárjait, és kiválasztják a jobbat, egy második modell megtanulja előre jelezni a választásaikat, a nyelvi modellt pedig ezután arra tanítják, hogy olyan válaszokat adjon, amelyeket ez a második modell magasra értékel.

A módszert 2017-ben az OpenAI és a DeepMind kutatói fejlesztették ki egyszerű feladatokra, nyelvi modellekre pedig az OpenAI InstructGPT-jében (2022) alkalmazták. Meglepően jól működött: az emberek jobban szerették egy RLHF-fel tanított, 1,3 milliárd paraméteres modell válaszait, mint az eredeti, 175 milliárd paraméteres GPT-3-éit, egy több mint 100-szor nagyobb modellét. Egy 2023-as áttekintés az RLHF-et a legkorszerűbb nyelvi modellek finomhangolásának központi módszerének nevezte.

Az RLHF azonban arra tanítja a modellt, hogy olyan válaszokat adjon, amelyeket az emberek helyeselnek, és ez nem ugyanaz, mint az igaz vagy biztonságos válasz. Az a 2023-as, 32 kutató által írt áttekintés ismertette nyitott problémáit és alapvető korlátait, és óva intett attól, hogy kizárólag rá hagyatkozzunk. Ráadásul úgy alakítja a viselkedést, hogy nem mutatja meg, mit tanult meg a modell belül, és pontosan erről szól a shoggoth-mém.