Modele ale lumii

Dovezi că o IA antrenată doar pe text își construiește o imagine internă a felului în care funcționează lumea, în loc să potrivească doar tipare de cuvinte.

Un model al lumii este o reprezentare internă a felului în care sunt și funcționează lucrurile, pe care un sistem o poate folosi ca să prezică ce urmează. Întrebarea este dacă modelele de limbaj au unul sau doar statistici despre ce cuvinte tind să urmeze după altele.

Mai multe studii s-au uitat în interiorul modelelor și au găsit astfel de reprezentări. Un model antrenat doar pe liste de mutări din jocul de societate Othello, căruia nu i s-a arătat niciodată o tablă, s-a dovedit că urmărește tabla în interior, iar modificarea acestei table interne schimba mutările pe care le prezicea (Li et al., 2023). S-a constatat că modelele Llama-2 reprezintă unde se află locurile și când au avut loc evenimentele, cu „neuroni ai spațiului” și „neuroni ai timpului” individuali (Gurnee și Tegmark, 2023). Anthropic a descoperit că Claude, întrebat care este capitala statului în care se află Dallas, reprezintă mai întâi „Texas” și apoi „Austin” și că, atunci când scrie o poezie cu rimă, alege cuvântul care rimează înainte de a scrie versul.

Sunt modele parțiale, nu o înțelegere completă, iar AI Safety Atlas notează că o parte din cunoștințele din modele seamănă mai mult cu un tabel de căutare. Dar dovezile contrazic ideea că aceste sisteme doar repetă tipare de suprafață. Pentru siguranță, asta taie în ambele sensuri: modelele lumii fac sistemele mai capabile și sunt exact ceea ce încearcă să citească cercetarea în interpretabilitate.