RLHF

Aprendizaje por refuerzo a partir de retroalimentación humana, el paso de entrenamiento que convierte un simple predictor de texto en un asistente servicial y educado, recompensando las respuestas que la gente valora mejor.

Un modelo de lenguaje aprende primero prediciendo el siguiente fragmento de texto en una enorme cantidad de escritos. Eso lo hace sabio pero no útil: continúa el texto en lugar de responder. El RLHF es el paso que vino después. Unas personas comparan pares de respuestas del modelo y eligen la mejor, un segundo modelo aprende a predecir sus elecciones, y luego se entrena al modelo de lenguaje para producir respuestas que ese segundo modelo puntúe alto.

El método lo desarrollaron para tareas sencillas en 2017 investigadores de OpenAI y DeepMind, y se aplicó a modelos de lenguaje en InstructGPT de OpenAI (2022). Funcionó sorprendentemente bien: la gente prefería las respuestas de un modelo entrenado con RLHF de 1,3 mil millones de parámetros a las del GPT-3 original, de 175 mil millones de parámetros, un modelo más de 100 veces mayor. Una revisión de 2023 calificó el RLHF como el método central para ajustar los modelos de lenguaje más avanzados.

Pero el RLHF entrena a un modelo para dar respuestas que la gente aprueba, lo cual no es lo mismo que respuestas verdaderas o seguras. Esa revisión de 2023, firmada por 32 investigadores, expuso sus problemas abiertos y limitaciones fundamentales y advirtió de no fiarse solo de él. Y moldea el comportamiento sin mostrar lo que el modelo ha aprendido por dentro, que es justo de lo que va el meme del shoggoth.