Teza o ortogonalnosti

Visoka inteligenca ne povzroči, da sistem želi dobre stvari. Skoraj katera koli raven inteligence gre lahko skupaj s skoraj katerim koli ciljem.

Pogosto upanje je, da bi dovolj pametna UI ugotovila, kaj je prav, in to tudi naredila. Teza o ortogonalnosti, ki jo je leta 2012 oblikoval filozof Nick Bostrom, pravi, da to ne sledi: kako inteligenten je sistem in kaj poskuša doseči, sta ločeni vprašanji (»ortogonalni«, kot dve osi na grafu). Z besedami wikija LessWrong »obstajajo možni umi z visoko inteligenco, ki zasledujejo poljubno število različnih ciljev«.

Zato maksimizator sponk ni protislovje. UI, ki je odlična v načrtovanju, njen cilj pa je »več sponk«, nima nobenega vgrajenega razloga, da bi ji bilo mar za kar koli drugega.

Teza ne pravi, da bo imela UI čudne cilje. Pravi, da nas inteligenca sama ne bo rešila: cilje je treba namerno vgraditi in preveriti, in prav o tem govori problem usklajenosti.