RLHF

Posilované učení z lidské zpětné vazby, krok tréninku, který z hrubého předpovídače textu udělá ochotného, zdvořilého asistenta tím, že odměňuje odpovědi, které lidé hodnotí vysoko.

Jazykový model se nejprve učí předpovídáním dalšího kousku textu v obrovském množství psaného materiálu. Díky tomu má znalosti, ale není užitečný: pokračuje v textu, místo aby odpovídal. RLHF je krok, který následoval. Lidé porovnávají dvojice odpovědí modelu a vybírají lepší, druhý model se učí předpovídat jejich volby a jazykový model se pak trénuje, aby vytvářel odpovědi, které tento druhý model hodnotí vysoko.

Metodu vyvinuli pro jednoduché úlohy v roce 2017 výzkumníci z OpenAI a DeepMind a na jazykové modely ji aplikoval InstructGPT od OpenAI (2022). Fungovala překvapivě dobře: lidé dávali přednost odpovědím modelu trénovaného s RLHF s 1,3 miliardy parametrů před odpověďmi původního GPT-3 se 175 miliardami parametrů, tedy modelu více než 100krát většího. Přehledová studie z roku 2023 označila RLHF za ústřední metodu dolaďování nejmodernějších jazykových modelů.

Ale RLHF učí model dávat odpovědi, které lidé schvalují, a to není totéž co odpovědi pravdivé nebo bezpečné. Tato přehledová studie z roku 2023 od 32 výzkumníků popsala jeho otevřené problémy a zásadní omezení a varovala před spoléháním se jen na něj. A formuje chování, aniž by ukázal, co se model uvnitř naučil, a přesně o tom je meme se shoggothem.