Téza ortogonality

Vysoká inteligencia nespôsobí, že systém chce dobré veci. Takmer akákoľvek úroveň inteligencie môže ísť ruka v ruke s takmer akýmkoľvek cieľom.

Bežná nádej je, že dostatočne múdra AI by prišla na to, čo je správne, a robila by to. Téza ortogonality, ktorú v roku 2012 sformuloval filozof Nick Bostrom, hovorí, že to nevyplýva: aký inteligentný systém je a čo sa snaží dosiahnuť, sú oddelené otázky („ortogonálne“, ako dve osi grafu). Slovami wiki LessWrong „existujú možné mysle s vysokou inteligenciou, ktoré sledujú ľubovoľné množstvo rôznych cieľov“.

To je dôvod, prečo maximalizátor kancelárskych spiniek nie je protirečenie. AI, ktorá je skvelá v plánovaní, ale jej cieľom je „viac spiniek“, nemá žiadny vstavaný dôvod starať sa o čokoľvek iné.

Téza netvrdí, že AI bude mať zvláštne ciele. Tvrdí, že samotná inteligencia nás nezachráni: ciele treba vložiť zámerne a overiť, a práve o tom je problém zosúladenia.