Sąvoka
Ortogonalumo tezė
Didelis intelektas nepriverčia sistemos norėti gerų dalykų. Beveik bet koks intelekto lygis gali derėti su beveik bet kokiu tikslu.
Dažna viltis, kad pakankamai protingas DI išsiaiškintų, kas teisinga, ir tai darytų. Ortogonalumo tezė, kurią 2012 m. suformulavo filosofas Nickas Bostromas, teigia, kad tai neišplaukia: kiek sistema protinga ir ko ji siekia, yra atskiri klausimai („ortogonalūs“, kaip dvi grafiko ašys). LessWrong vikio žodžiais, „egzistuoja galimi didelio intelekto protai, kurie siekia bet kokio skaičiaus skirtingų tikslų“.
Būtent todėl sąvaržėlių maksimizatorius nėra prieštaravimas. DI, kuris puikiai planuoja, bet kurio tikslas yra „daugiau sąvaržėlių“, neturi jokios įmontuotos priežasties rūpintis kuo nors kitu.
Tezė neteigia, kad DI turės keistų tikslų. Ji teigia, kad vien intelektas mūsų neišgelbės: tikslus reikia įdiegti sąmoningai ir patikrinti, ir būtent apie tai yra suderinimo problema.



