Wereldmodellen

Aanwijzingen dat AI die alleen op tekst is getraind een intern beeld opbouwt van hoe de wereld werkt, in plaats van alleen woordpatronen te matchen.

Een wereldmodel is een interne representatie van hoe dingen zijn en hoe ze werken, die een systeem kan gebruiken om te voorspellen wat er gaat gebeuren. De vraag is of taalmodellen er een hebben, of alleen statistieken over welke woorden doorgaans op welke volgen.

Verschillende studies hebben in modellen gekeken en zulke representaties gevonden. Een model dat alleen was getraind op lijsten met zetten van het bordspel Othello, en nooit een bord te zien kreeg, bleek het bord intern bij te houden, en het bewerken van dat interne bord veranderde de zetten die het voorspelde (Li et al., 2023). Llama-2-modellen bleken weer te geven waar plaatsen liggen en wanneer gebeurtenissen plaatsvonden, met afzonderlijke ‘ruimteneuronen’ en ‘tijdneuronen’ (Gurnee en Tegmark, 2023). Anthropic ontdekte dat Claude, gevraagd naar de hoofdstad van de staat waarin Dallas ligt, eerst ‘Texas’ en dan ‘Austin’ representeert, en dat het bij het schrijven van een rijmend gedicht het rijmwoord kiest voordat het de regel schrijft.

Dit zijn gedeeltelijke modellen, geen volledig begrip, en de AI Safety Atlas merkt op dat sommige kennis in modellen meer op een opzoektabel lijkt. Maar het bewijs spreekt het idee tegen dat deze systemen alleen oppervlakkige patronen herhalen. Voor veiligheid werkt het twee kanten op: wereldmodellen maken systemen capabeler, en ze zijn wat interpreteerbaarheidsonderzoek probeert te lezen.