Modely sveta

Dôkazy, že AI trénovaná len na texte si vytvára vnútorný obraz toho, ako funguje svet, namiesto toho, aby len porovnávala vzorce slov.

Model sveta je vnútorná reprezentácia toho, aké veci sú a ako fungujú, ktorú systém môže využiť na predpoveď, čo sa stane ďalej. Otázkou je, či jazykové modely nejaký majú, alebo len štatistiky o tom, ktoré slová obvykle nasledujú po ktorých.

Niekoľko štúdií nahliadlo do modelov a takéto reprezentácie našlo. Ukázalo sa, že model trénovaný len na zoznamoch ťahov doskovej hry Othello, ktorému nikdy neukázali dosku, si dosku vnútorne sleduje, a úprava tejto vnútornej dosky menila ťahy, ktoré predpovedal (Li a kol., 2023). Pri modeloch Llama-2 sa zistilo, že reprezentujú, kde ležia miesta a kedy sa stali udalosti, pomocou jednotlivých „priestorových neurónov“ a „časových neurónov“ (Gurnee a Tegmark, 2023). Anthropic zistil, že Claude na otázku o hlavnom meste štátu, v ktorom leží Dallas, najprv reprezentuje „Texas“ a potom „Austin“ a že pri písaní rýmovanej básne vyberá rýmované slovo skôr, než napíše verš.

Sú to čiastkové modely, nie úplné porozumenie, a AI Safety Atlas poznamenáva, že časť znalostí v modeloch pripomína skôr vyhľadávaciu tabuľku. Dôkazy však svedčia proti predstave, že tieto systémy len opakujú povrchné vzorce. Pre bezpečnosť to pôsobí oboma smermi: modely sveta robia systémy schopnejšími a práve ich sa výskum interpretovateľnosti snaží čítať.