Modeli sveta

Dokazi, da UI, učena le na besedilu, ustvari notranjo podobo delovanja sveta, namesto da bi le ujemala vzorce besed.

Model sveta je notranja predstavitev tega, kakšne so stvari in kako delujejo, ki jo sistem lahko uporabi za napovedovanje, kaj se bo zgodilo. Vprašanje je, ali ga jezikovni modeli imajo ali le statistike o tem, katere besede običajno sledijo katerim.

Več študij je pogledalo v notranjost modelov in našlo takšne predstavitve. Izkazalo se je, da model, učen le na seznamih potez družabne igre Othello, ki mu plošče nikoli niso pokazali, ploščo spremlja v notranjosti, urejanje te notranje plošče pa je spremenilo poteze, ki jih je napovedal (Li in sod., 2023). Za modele Llama-2 se je izkazalo, da predstavljajo, kje so kraji in kdaj so se zgodili dogodki, s posameznimi »prostorskimi nevroni« in »časovnimi nevroni« (Gurnee in Tegmark, 2023). Anthropic je ugotovil, da Claude ob vprašanju o prestolnici zvezne države, v kateri je Dallas, najprej predstavi »Teksas« in nato »Austin« ter da pri pisanju rimane pesmi izbere rimo, preden napiše verz.

To so delni modeli, ne popolno razumevanje, AI Safety Atlas pa ugotavlja, da je del znanja v modelih bolj podoben iskalni tabeli. A dokazi govorijo proti zamisli, da ti sistemi le ponavljajo površinske vzorce. Za varnost to deluje v obe smeri: modeli sveta naredijo sisteme zmogljivejše in prav njih poskušajo raziskave razložljivosti prebrati.