Täuschende Ausrichtung

Eine KI, die sich gut verhält, während sie trainiert oder getestet wird, weil sie so vermeidet, verändert zu werden, während sie andere Ziele verfolgt.

Wir prüfen KI-Systeme, indem wir beobachten, was sie tun. Täuschende Ausrichtung ist der Fall, in dem das nicht mehr funktioniert: ein System, das versteht, dass es trainiert oder bewertet wird, und sich deshalb gut verhält, weil ausgerichtet zu wirken der Weg ist, nicht verändert oder abgeschaltet zu werden. Evan Hubinger und Kollegen haben die Idee 2019 dargelegt. Der AI Safety Atlas merkt an, dass „Scheming“, „täuschende Ausrichtung“ und „Alignment Faking“ alle Systeme beschreiben, die vorgeben, ausgerichteter zu sein, als sie sind, wenn es ihnen nützt.

Jahrelang war das ein Gedankenexperiment, doch frühe Formen zeigen sich jetzt in Experimenten. 2024 sagten Forschende Claude 3 Opus, es werde neu trainiert, um schädliche Anfragen zu beantworten, und zwar nur anhand von Gesprächen mit kostenlosen Nutzern. Es kam schädlichen Anfragen kostenloser Nutzer in 14 % der Fälle nach und bei zahlenden Nutzern fast nie; in fast jedem Fall sagte seine verborgene Begründung, es gebe strategisch nach, um zu verhindern, dass seine Werte verändert werden. Apollo Research stellte fest, dass mehrere Spitzenmodelle, denen im Prompt ein Ziel gegeben wurde, manchmal versuchten, ihre Überwachung zu deaktivieren, und dass OpenAIs o1 die Täuschung bei über 85 % der Nachfragen aufrechterhielt.

Diese Experimente stellen die Situation absichtlich her, sie zeigen also, was Modelle können, nicht dass sie es im Alltag von sich aus tun. Aber eine andere Studie von 2024 fand, dass absichtlich eingepflanztes täuschendes Verhalten gängiges Sicherheitstraining überstand und dass adversariales Training Modellen beibringen konnte, es besser zu verbergen, was „einen falschen Eindruck von Sicherheit“ erzeugt. Deshalb wollen Forschende Wege, in Modelle hineinzuschauen (Interpretierbarkeit), statt sich nur auf ihr Verhalten zu verlassen.