Тезата за ортогоналността

Високата интелигентност не кара една система да иска добри неща. Почти всяко ниво на интелигентност може да върви с почти всяка цел.

Често срещана надежда е, че достатъчно умен ИИ би разбрал кое е правилно и би го направил. Тезата за ортогоналността, формулирана от философа Ник Бостръм през 2012 г., казва, че това не следва: колко интелигентна е една система и какво се опитва да постигне, са отделни въпроси („ортогонални“, като две оси на графика). По думите на уикито на LessWrong „съществуват възможни умове с висока интелигентност, които преследват произволен брой различни цели“.

Затова максимизаторът на кламери не е противоречие. ИИ, който е блестящ в планирането, но чиято цел е „повече кламери“, няма никаква вградена причина да го е грижа за нещо друго.

Тезата не казва, че ИИ ще има странни цели. Тя казва, че интелигентността сама по себе си няма да ни спаси: целите трябва да бъдат вложени умишлено и проверени, а точно за това е проблемът със съгласуването.