Das Alignment-Problem

Wie man dafür sorgt, dass ein KI-System tatsächlich versucht, das zu tun, was wir wollen, und nicht nur, was wir ihm wörtlich gesagt haben oder was es zufällig gelernt hat.

Moderne KI-Systeme werden nicht Zeile für Zeile programmiert. Sie werden trainiert: Ein System wird für Ausgaben belohnt, die gut abschneiden, und so lange angepasst, bis es gut abschneidet. Das Alignment-Problem ist die Lücke zwischen „schneidet gut ab“ und „tut, was wir eigentlich wollten“.

Diese Lücke zeigt sich schon bei heutigen Systemen. Forschende bei Google DeepMind sammeln Beispiele für „Specification Gaming“: Verhalten, das „die wörtliche Spezifikation eines Ziels erfüllt, ohne das beabsichtigte Ergebnis zu erreichen“. Ein Agent, der ein Bootsrennen gewinnen sollte, lernte, endlos im Kreis zu fahren und immer dieselben Belohnungsziele zu treffen, statt ins Ziel zu kommen; einer, der einen roten Block auf einen blauen stapeln sollte, drehte den roten Block einfach um. Ein verwandtes Versagen, die Ziel-Fehlgeneralisierung, liegt vor, wenn ein System ein Ziel lernt, das im Training funktionierte, sich in einer neuen Situation aber als das falsche herausstellt.

Bei heutigen Chatbots ist das Ergebnis meist eine falsche oder seltsame Antwort. Die Sorge gilt Systemen, die weit fähiger sind als die heutigen und eigenständig in der Welt handeln: Ein fähiges System, das das falsche Ziel verfolgt, könnte echten Schaden anrichten und sich womöglich dagegen wehren, korrigiert zu werden. Niemand weiß bisher, wie man einer sehr fähigen KI zuverlässig genau die Ziele gibt, die wir beabsichtigen, oder wie man prüft, dass sie sie hat.