Modely světa

Důkazy, že AI trénovaná jen na textu si vytváří vnitřní obraz toho, jak funguje svět, místo aby jen porovnávala vzorce slov.

Model světa je vnitřní reprezentace toho, jaké věci jsou a jak fungují, kterou systém může využít k předpovědi, co se stane dál. Otázkou je, zda jazykové modely nějaký mají, nebo jen statistiky o tom, která slova obvykle následují po kterých.

Několik studií nahlédlo do modelů a takové reprezentace našlo. Ukázalo se, že model trénovaný jen na seznamech tahů deskové hry Othello, kterému nikdy neukázali desku, si desku vnitřně sleduje, a úprava této vnitřní desky měnila tahy, které předpovídal (Li a kol., 2023). U modelů Llama-2 se zjistilo, že reprezentují, kde leží místa a kdy se staly události, pomocí jednotlivých „prostorových neuronů“ a „časových neuronů“ (Gurnee a Tegmark, 2023). Anthropic zjistil, že Claude na otázku po hlavním městě státu, ve kterém leží Dallas, nejprve reprezentuje „Texas“ a pak „Austin“ a že při psaní rýmované básně vybírá rýmované slovo dřív, než napíše verš.

Jsou to dílčí modely, ne úplné porozumění, a AI Safety Atlas poznamenává, že část znalostí v modelech připomíná spíš vyhledávací tabulku. Důkazy ale svědčí proti představě, že tyto systémy jen opakují povrchní vzorce. Pro bezpečnost to působí oběma směry: modely světa dělají systémy schopnějšími a právě je se výzkum interpretovatelnosti snaží číst.