RLHF

Обучение с подкрепление от човешка обратна връзка, стъпката от обучението, която превръща суров предсказвач на текст в услужлив, учтив асистент, като награждава отговорите, които хората оценяват високо.

Езиковият модел първо се учи, като предсказва следващото парче текст в огромно количество писмен материал. Това го прави осведомен, но не и полезен: той продължава текста, вместо да отговаря. RLHF е стъпката, която последва. Хората сравняват двойки отговори на модела и избират по-добрия, втори модел се учи да предсказва изборите им, а езиковият модел след това се обучава да дава отговори, които този втори модел оценява високо.

Методът е разработен за прости задачи през 2017 г. от изследователи от OpenAI и DeepMind и е приложен към езикови модели в InstructGPT на OpenAI (2022). Той проработи поразително добре: хората предпочитаха отговорите на модел, обучен с RLHF, с 1,3 милиарда параметъра пред тези на оригиналния GPT-3 със 175 милиарда параметъра, модел повече от 100 пъти по-голям. Обзор от 2023 г. нарече RLHF основния метод за фино настройване на най-съвременните езикови модели.

Но RLHF обучава модела да дава отговори, които хората одобряват, а това не е същото като отговори, които са верни или безопасни. Същият обзор от 2023 г., написан от 32 изследователи, изложи неговите открити проблеми и фундаментални ограничения и предупреди да не се разчита само на него. А и той оформя поведението, без да показва какво е научил моделът вътрешно, и точно това е смисълът на мема с шогота.