RLHF

Învățarea prin întărire din feedback uman, pasul de antrenare care transformă un simplu predictor de text într-un asistent serviabil și politicos, recompensând răspunsurile pe care oamenii le notează bine.

Un model de limbaj învață mai întâi prezicând următoarea bucată de text dintr-o cantitate uriașă de scrieri. Asta îl face informat, dar nu util: continuă textul în loc să răspundă. RLHF este pasul care a urmat. Oamenii compară perechi de răspunsuri ale modelului și îl aleg pe cel mai bun, un al doilea model învață să le prezică alegerile, iar modelul de limbaj este apoi antrenat să producă răspunsuri pe care acest al doilea model le notează bine.

Metoda a fost dezvoltată pentru sarcini simple în 2017 de cercetători de la OpenAI și DeepMind și aplicată modelelor de limbaj în InstructGPT de la OpenAI (2022). A funcționat surprinzător de bine: oamenii au preferat răspunsurile unui model antrenat cu RLHF de 1,3 miliarde de parametri celor ale GPT-3 original, de 175 de miliarde de parametri, un model de peste 100 de ori mai mare. O sinteză din 2023 a numit RLHF metoda centrală de ajustare fină a celor mai avansate modele de limbaj.

Dar RLHF antrenează un model să dea răspunsuri pe care oamenii le aprobă, ceea ce nu e același lucru cu răspunsuri adevărate sau sigure. Acea sinteză din 2023, semnată de 32 de cercetători, i-a expus problemele deschise și limitările fundamentale și a avertizat împotriva bazării exclusive pe el. Și modelează comportamentul fără să arate ce a învățat modelul în interior, exact ideea meme-ului cu shoggoth-ul.