RLHF

L’apprentissage par renforcement à partir de retours humains, l’étape d’entraînement qui transforme un simple prédicteur de texte en assistant serviable et poli, en récompensant les réponses que les gens notent bien.

Un modèle de langage apprend d’abord en prédisant le prochain morceau de texte sur une énorme quantité d’écrits. Cela le rend savant mais pas utile : il prolonge le texte au lieu de répondre. Le RLHF est l’étape qui a suivi. Des personnes comparent des paires de réponses du modèle et choisissent la meilleure, un second modèle apprend à prédire leurs choix, puis le modèle de langage est entraîné à produire des réponses que ce second modèle note bien.

La méthode a été mise au point pour des tâches simples en 2017 par des chercheurs d’OpenAI et de DeepMind, puis appliquée aux modèles de langage dans InstructGPT d’OpenAI (2022). Elle a remarquablement bien fonctionné : les gens préféraient les réponses d’un modèle entraîné par RLHF de 1,3 milliard de paramètres à celles du GPT-3 d’origine, avec 175 milliards de paramètres, un modèle plus de 100 fois plus grand. Une synthèse de 2023 qualifiait le RLHF de méthode centrale pour affiner les modèles de langage de pointe.

Mais le RLHF entraîne un modèle à donner des réponses que les gens approuvent, ce qui n’est pas la même chose que des réponses vraies ou sûres. Cette synthèse de 2023, signée par 32 chercheurs, exposait ses problèmes ouverts et ses limites fondamentales, et mettait en garde contre le fait de s’y fier seul. Et il façonne le comportement sans montrer ce que le modèle a appris à l’intérieur, ce qui est tout le propos du mème du shoggoth.