Interpretierbarkeit

Die Wissenschaft, in ein KI-Modell hineinzuschauen, um zu verstehen, wie es funktioniert und warum es tut, was es tut.

Ein trainiertes KI-Modell besteht aus Milliarden von Zahlen. Niemand hat sie geschrieben; sie wurden beim Training automatisch angepasst. Deshalb können selbst seine Hersteller nicht einfach ablesen, was es weiß oder warum es eine Antwort gegeben hat. Anthropics Forschende sagten es 2024 ganz offen: „Wir behandeln KI-Modelle meist als Blackbox.“ Der CEO des Unternehmens, Dario Amodei, schrieb 2025, dass „Menschen außerhalb des Fachs oft überrascht und beunruhigt sind, wenn sie erfahren, dass wir nicht verstehen, wie unsere eigenen KI-Schöpfungen funktionieren“, und zitierte die Ansicht des Forschers Chris Olah, dass diese Systeme „eher gezüchtet als gebaut“ werden.

Die Interpretierbarkeitsforschung versucht, das zu ändern. 2024 fanden Forschende Millionen interner „Features“ in einem der produktiv eingesetzten Modelle von Anthropic, von Städten und Personen bis zu abstrakten Ideen wie Fehlern in Code, Geheimhaltung und Machtstreben. Dreht man ein Feature hoch, ändert sich das Verhalten des Modells: Verstärkt man das Feature für die Golden Gate Bridge, behauptet das Modell, die Brücke zu sein.

Für die Sicherheit ist das wichtig, weil Verhaltenstests nur zeigen, was ein Modell tut, während es beobachtet wird. Wäre ein Modell täuschend ausgerichtet, läge der Beweis in seinem Inneren. Das Fach macht Fortschritte, aber die bisher gefundenen Features sind nur ein kleiner Teil dessen, was große Modelle enthalten.