Ortogonalitetstesen

Att vara mycket intelligent får inte ett system att vilja goda saker. Nästan vilken intelligensnivå som helst kan gå ihop med nästan vilket mål som helst.

En vanlig förhoppning är att en tillräckligt smart AI skulle räkna ut vad som är rätt och göra det. Ortogonalitetstesen, som filosofen Nick Bostrom formulerade 2012, säger att det inte följer: hur intelligent ett system är och vad det försöker uppnå är skilda frågor (”ortogonala”, som två axlar i ett diagram). Med LessWrong-wikins ord: ”det finns möjliga sinnen med hög intelligens som driver hur många olika mål som helst”.

Det är därför gemmaximeraren inte är en motsägelse. En AI som är briljant på att planera men vars mål är ”fler gem” har inget inbyggt skäl att bry sig om något annat.

Testen säger inte att AI kommer att ha konstiga mål. Den säger att intelligens ensam inte räddar oss: målen måste byggas in avsiktligt och kontrolleras, och det är det som anpassningsproblemet handlar om.