Världsmodeller

Belägg för att AI som bara tränats på text bygger upp en inre bild av hur världen fungerar, i stället för att bara matcha ordmönster.

En världsmodell är en inre representation av hur saker är och hur de fungerar, som ett system kan använda för att förutsäga vad som händer härnäst. Frågan är om språkmodeller har en, eller bara statistik över vilka ord som brukar följa vilka.

Flera studier har tittat in i modeller och hittat sådana representationer. En modell som bara tränats på listor med drag i brädspelet Othello, och aldrig fått se en spelplan, visade sig hålla reda på spelplanen internt, och att redigera den inre spelplanen ändrade de drag den förutsade (Li m.fl., 2023). Llama-2-modeller visade sig representera var platser ligger och när händelser inträffade, med enskilda ”rumsneuroner” och ”tidsneuroner” (Gurnee och Tegmark, 2023). Anthropic fann att Claude, när den får frågan om huvudstaden i den delstat där Dallas ligger, först representerar ”Texas” och sedan ”Austin”, och att den, när den skriver en rimmad dikt, väljer rimordet innan den skriver raden.

Det här är partiella modeller, inte full förståelse, och AI Safety Atlas noterar att en del kunskap i modeller mer liknar en uppslagstabell. Men beläggen talar emot idén att systemen bara upprepar ytliga mönster. För säkerheten går det åt båda hållen: världsmodeller gör system mer kapabla, och de är det som tolkningsbarhetsforskningen försöker läsa.