RLHF

Aprendizagem por reforço a partir de feedback humano, o passo de treino que transforma um simples previsor de texto num assistente prestável e educado, recompensando as respostas que as pessoas avaliam melhor.

Um modelo de linguagem aprende primeiro a prever o próximo pedaço de texto numa enorme quantidade de escrita. Isso torna-o conhecedor, mas não útil: continua o texto em vez de responder. O RLHF é o passo que se seguiu. Pessoas comparam pares de respostas do modelo e escolhem a melhor, um segundo modelo aprende a prever as suas escolhas, e o modelo de linguagem é depois treinado para produzir respostas a que esse segundo modelo dá uma pontuação alta.

O método foi desenvolvido para tarefas simples em 2017 por investigadores da OpenAI e da DeepMind, e aplicado a modelos de linguagem no InstructGPT da OpenAI (2022). Funcionou surpreendentemente bem: as pessoas preferiam as respostas de um modelo treinado com RLHF com 1,3 mil milhões de parâmetros às do GPT-3 original, com 175 mil milhões de parâmetros, um modelo mais de 100 vezes maior. Uma revisão de 2023 considerou o RLHF o método central para afinar os modelos de linguagem mais avançados.

Mas o RLHF treina um modelo para dar respostas que as pessoas aprovam, o que não é o mesmo que respostas verdadeiras ou seguras. Essa revisão de 2023, assinada por 32 investigadores, expôs os seus problemas em aberto e limitações fundamentais e alertou contra confiar apenas nele. E molda o comportamento sem mostrar o que o modelo aprendeu por dentro, que é precisamente a ideia do meme do shoggoth.