Weltmodelle

Belege dafür, dass KI, die nur mit Text trainiert wurde, ein inneres Bild davon aufbaut, wie die Welt funktioniert, statt nur Wortmuster abzugleichen.

Ein Weltmodell ist eine innere Repräsentation davon, wie die Dinge sind und wie sie funktionieren, mit der ein System vorhersagen kann, was als Nächstes passiert. Die Frage ist, ob Sprachmodelle eines haben oder nur Statistiken darüber, welche Wörter typischerweise auf welche folgen.

Mehrere Studien haben in Modelle hineingeschaut und solche Repräsentationen gefunden. Ein Modell, das nur mit Zuglisten des Brettspiels Othello trainiert wurde und nie ein Brett gesehen hatte, verfolgte das Brett intern, und eine Bearbeitung dieses inneren Bretts veränderte die Züge, die es vorhersagte (Li et al., 2023). Bei Llama-2-Modellen wurde festgestellt, dass sie repräsentieren, wo Orte liegen und wann Ereignisse stattfanden, mit einzelnen „Raumneuronen“ und „Zeitneuronen“ (Gurnee und Tegmark, 2023). Anthropic fand, dass Claude, gefragt nach der Hauptstadt des Bundesstaats, in dem Dallas liegt, zuerst „Texas“ und dann „Austin“ repräsentiert, und dass es beim Schreiben eines gereimten Gedichts das Reimwort wählt, bevor es die Zeile schreibt.

Das sind Teilmodelle, kein vollständiges Verstehen, und der AI Safety Atlas merkt an, dass manches Wissen in Modellen eher wie eine Nachschlagetabelle aussieht. Aber die Belege sprechen gegen die Idee, dass diese Systeme nur Oberflächenmuster wiederholen. Für die Sicherheit wirkt das in beide Richtungen: Weltmodelle machen Systeme fähiger, und sie sind das, was die Interpretierbarkeitsforschung zu lesen versucht.