Teza o ortogonalnosti

Velika inteligencija ne čini da sustav želi dobre stvari. Gotovo bilo koja razina inteligencije može ići uz gotovo bilo koji cilj.

Česta je nada da bi dovoljno pametna UI shvatila što je ispravno i to činila. Teza o ortogonalnosti, koju je filozof Nick Bostrom iznio 2012., kaže da to ne slijedi: koliko je sustav inteligentan i što pokušava postići odvojena su pitanja („ortogonalna”, poput dviju osi na grafu). Riječima wikija LessWrong, „postoje mogući umovi visoke inteligencije koji slijede bilo koji broj različitih ciljeva”.

Zato maksimizator spajalica nije proturječje. UI koja je briljantna u planiranju, ali joj je cilj „više spajalica”, nema nikakav ugrađen razlog da joj bude stalo do ičega drugog.

Teza ne kaže da će UI imati čudne ciljeve. Kaže da nas sama inteligencija neće spasiti: ciljeve treba namjerno ugraditi i provjeriti, a upravo o tome govori problem usklađenosti.