Pasaules modeļi

Pierādījumi, ka tikai ar tekstu apmācīts MI veido iekšēju priekšstatu par to, kā darbojas pasaule, nevis tikai salīdzina vārdu rakstus.

Pasaules modelis ir iekšējs attēlojums par to, kādas ir lietas un kā tās darbojas, ko sistēma var izmantot, lai paredzētu, kas notiks tālāk. Jautājums ir, vai valodas modeļiem tāds ir, vai tikai statistika par to, kuri vārdi parasti seko kuriem.

Vairāki pētījumi ielūkojušies modeļos un atraduši šādus attēlojumus. Izrādījās, ka modelis, kas apmācīts tikai ar galda spēles Othello gājienu sarakstiem un kam nekad netika rādīts galdiņš, iekšēji sekoja galdiņam, un šī iekšējā galdiņa rediģēšana mainīja gājienus, ko tas paredzēja (Li et al., 2023). Tika konstatēts, ka Llama-2 modeļi attēlo, kur atrodas vietas un kad notika notikumi, ar atsevišķiem “telpas neironiem” un “laika neironiem” (Gurnī un Tegmarks, 2023). Anthropic atklāja, ka Claude, jautāts par tā štata galvaspilsētu, kurā atrodas Dalasa, vispirms attēlo “Teksasu” un pēc tam “Ostinu”, un ka, rakstot dzejoli ar atskaņām, tas izvēlas atskaņas vārdu, pirms uzraksta rindu.

Tie ir daļēji modeļi, nevis pilnīga izpratne, un AI Safety Atlas norāda, ka daļa modeļu zināšanu vairāk atgādina uzmeklēšanas tabulu. Taču pierādījumi runā pretī idejai, ka šīs sistēmas tikai atkārto virspusējus rakstus. Drošībai tas darbojas abos virzienos: pasaules modeļi padara sistēmas spējīgākas, un tieši tos interpretējamības pētniecība cenšas nolasīt.