Ortogonalitātes tēze

Liels intelekts neliek sistēmai vēlēties labas lietas. Gandrīz jebkurš intelekta līmenis var būt apvienots ar gandrīz jebkuru mērķi.

Izplatīta cerība ir, ka pietiekami gudrs MI izdomātu, kas ir pareizi, un to darītu. Ortogonalitātes tēze, ko 2012. gadā formulēja filozofs Niks Bostroms, saka, ka tas neizriet: tas, cik inteliģenta ir sistēma, un tas, ko tā cenšas sasniegt, ir atsevišķi jautājumi (“ortogonāli” kā divas grafika asis). LessWrong viki vārdiem, “pastāv iespējami prāti ar augstu intelektu, kas tiecas pēc jebkura skaita dažādu mērķu”.

Tāpēc saspraužu maksimizētājs nav pretruna. MI, kas lieliski plāno, bet kura mērķis ir “vairāk saspraužu”, nav nekāda iebūvēta iemesla rūpēties par kaut ko citu.

Tēze nesaka, ka MI būs dīvaini mērķi. Tā saka, ka intelekts vien mūs neglābs: mērķi ir jāiestrādā apzināti un jāpārbauda, un tieši par to ir saskaņošanas problēma.