RLHF

L’apprendimento per rinforzo dal feedback umano, la fase di addestramento che trasforma un semplice predittore di testo in un assistente disponibile ed educato, premiando le risposte che le persone valutano meglio.

Un modello linguistico impara prima prevedendo il pezzo di testo successivo su un’enorme quantità di scritti. Questo lo rende colto ma non utile: prosegue il testo invece di rispondere. L’RLHF è la fase venuta dopo. Delle persone confrontano coppie di risposte del modello e scelgono la migliore, un secondo modello impara a prevedere le loro scelte, e il modello linguistico viene poi addestrato a produrre risposte a cui quel secondo modello dà un punteggio alto.

Il metodo è stato sviluppato per compiti semplici nel 2017 da ricercatori di OpenAI e DeepMind, e applicato ai modelli linguistici in InstructGPT di OpenAI (2022). Ha funzionato sorprendentemente bene: le persone preferivano le risposte di un modello addestrato con RLHF da 1,3 miliardi di parametri a quelle del GPT-3 originale da 175 miliardi di parametri, un modello più di 100 volte più grande. Una rassegna del 2023 ha definito l’RLHF il metodo centrale per rifinire i modelli linguistici più avanzati.

Ma l’RLHF addestra un modello a dare risposte che le persone approvano, il che non equivale a risposte vere o sicure. Quella rassegna del 2023, firmata da 32 ricercatori, ne ha esposto i problemi aperti e i limiti fondamentali, mettendo in guardia dall’affidarsi solo a esso. E plasma il comportamento senza mostrare cosa il modello abbia imparato al suo interno, che è proprio il senso del meme dello shoggoth.