Ortogonalitetstesen

At være meget intelligent får ikke et system til at ville gode ting. Næsten ethvert intelligensniveau kan gå sammen med næsten ethvert mål.

Et udbredt håb er, at en klog nok AI ville regne ud, hvad der er rigtigt, og gøre det. Ortogonalitetstesen, som filosoffen Nick Bostrom formulerede i 2012, siger, at det ikke følger: Hvor intelligent et system er, og hvad det forsøger at opnå, er separate spørgsmål (»ortogonale«, som to akser i en graf). Med LessWrong-wikiens ord: »Der findes mulige sind med høj intelligens, der forfølger et hvilket som helst antal forskellige mål.«

Det er grunden til, at papirclipsmaksimereren ikke er en selvmodsigelse. En AI, der er glimrende til at planlægge, men hvis mål er »flere papirclips«, har ingen indbygget grund til at bekymre sig om noget andet.

Testen siger ikke, at AI vil have mærkelige mål. Den siger, at intelligens alene ikke redder os: Målene skal lægges ind bevidst og tjekkes, og det er det, afstemningsproblemet handler om.