Teze ortogonality

Vysoká inteligence nezpůsobí, že systém chce dobré věci. Téměř jakákoli úroveň inteligence může jít ruku v ruce s téměř jakýmkoli cílem.

Běžná naděje je, že dostatečně chytrá AI by přišla na to, co je správné, a dělala by to. Teze ortogonality, kterou v roce 2012 formuloval filozof Nick Bostrom, říká, že to nevyplývá: jak inteligentní systém je a čeho se snaží dosáhnout, jsou oddělené otázky („ortogonální“, jako dvě osy grafu). Slovy wiki LessWrong „existují možné mysli s vysokou inteligencí, které sledují libovolné množství různých cílů“.

To je důvod, proč maximalizátor kancelářských sponek není protimluv. AI, která je skvělá v plánování, ale jejím cílem je „více sponek“, nemá žádný vestavěný důvod starat se o cokoli jiného.

Teze netvrdí, že AI bude mít podivné cíle. Tvrdí, že samotná inteligence nás nezachrání: cíle je třeba vložit záměrně a ověřit, a právě o tom je problém sladění.