Orthogonalitätsthese

Sehr intelligent zu sein, bringt ein System nicht dazu, Gutes zu wollen. Fast jedes Intelligenzniveau kann mit fast jedem Ziel einhergehen.

Eine verbreitete Hoffnung ist, dass eine ausreichend kluge KI herausfinden würde, was richtig ist, und es tun würde. Die Orthogonalitätsthese, die der Philosoph Nick Bostrom 2012 formulierte, sagt, dass das nicht folgt: Wie intelligent ein System ist und was es zu erreichen versucht, sind getrennte Fragen („orthogonal“, wie zwei Achsen in einem Diagramm). In den Worten des LessWrong-Wikis „gibt es mögliche Geister mit hoher Intelligenz, die beliebig viele verschiedene Ziele verfolgen“.

Deshalb ist der Büroklammer-Maximierer kein Widerspruch. Eine KI, die brillant im Planen ist, deren Ziel aber „mehr Büroklammern“ lautet, hat keinen eingebauten Grund, sich um irgendetwas anderes zu kümmern.

Die These sagt nicht, dass KI seltsame Ziele haben wird. Sie sagt, dass Intelligenz allein uns nicht rettet: Die Ziele müssen bewusst hineingelegt und überprüft werden, und genau darum geht es beim Alignment-Problem.