RLHF

Posilňované učenie z ľudskej spätnej väzby, krok tréningu, ktorý z hrubého predpovedača textu urobí ochotného, zdvorilého asistenta tým, že odmeňuje odpovede, ktoré ľudia hodnotia vysoko.

Jazykový model sa najprv učí predpovedaním ďalšieho kúska textu v obrovskom množstve písaného materiálu. Vďaka tomu má znalosti, ale nie je užitočný: pokračuje v texte, namiesto toho, aby odpovedal. RLHF je krok, ktorý nasledoval. Ľudia porovnávajú dvojice odpovedí modelu a vyberajú lepšiu, druhý model sa učí predpovedať ich voľby a jazykový model sa potom trénuje, aby vytváral odpovede, ktoré tento druhý model hodnotí vysoko.

Metódu vyvinuli pre jednoduché úlohy v roku 2017 výskumníci z OpenAI a DeepMind a na jazykové modely ju aplikoval InstructGPT od OpenAI (2022). Fungovala prekvapivo dobre: ľudia dávali prednosť odpovediam modelu trénovaného s RLHF s 1,3 miliardy parametrov pred odpoveďami pôvodného GPT-3 so 175 miliardami parametrov, teda modelu viac ako 100-krát väčšieho. Prehľadová štúdia z roku 2023 označila RLHF za ústrednú metódu dolaďovania najmodernejších jazykových modelov.

Ale RLHF učí model dávať odpovede, ktoré ľudia schvaľujú, a to nie je to isté ako odpovede pravdivé alebo bezpečné. Táto prehľadová štúdia z roku 2023 od 32 výskumníkov opísala jeho otvorené problémy a zásadné obmedzenia a varovala pred spoliehaním sa len naň. A formuje správanie bez toho, aby ukázal, čo sa model vnútri naučil, a presne o tom je meme so shoggothom.