RLHF

Uczenie przez wzmacnianie na podstawie ludzkich ocen, czyli etap treningu, który zmienia surowy predyktor tekstu w pomocnego, uprzejmego asystenta, nagradzając odpowiedzi wysoko oceniane przez ludzi.

Model językowy najpierw uczy się, przewidując kolejny fragment tekstu w ogromnej ilości pisanego materiału. To czyni go oczytanym, ale nie pomocnym: kontynuuje tekst, zamiast odpowiadać. RLHF to etap, który nastąpił potem. Ludzie porównują pary odpowiedzi modelu i wybierają lepszą, drugi model uczy się przewidywać ich wybory, a następnie model językowy jest trenowany, by tworzył odpowiedzi, które ten drugi model wysoko ocenia.

Metodę opracowali w 2017 roku badacze z OpenAI i DeepMind do prostych zadań, a zastosowano ją do modeli językowych w InstructGPT od OpenAI (2022). Działała zaskakująco dobrze: ludzie woleli odpowiedzi modelu wytrenowanego z RLHF, mającego 1,3 miliarda parametrów, od odpowiedzi oryginalnego GPT-3 ze 175 miliardami parametrów, modelu ponad 100 razy większego. Przegląd z 2023 roku nazwał RLHF główną metodą dostrajania najnowocześniejszych modeli językowych.

Ale RLHF uczy model udzielania odpowiedzi, które ludzie aprobują, a to nie to samo co odpowiedzi prawdziwe czy bezpieczne. Ten przegląd z 2023 roku, autorstwa 32 badaczy, przedstawił jego otwarte problemy i fundamentalne ograniczenia oraz ostrzegał przed poleganiem wyłącznie na nim. Poza tym kształtuje zachowanie, nie pokazując, czego model nauczył się w środku, i właśnie o tym jest mem z shoggothem.