Teza o ortogonalności

Bycie bardzo inteligentnym nie sprawia, że system chce dobrych rzeczy. Niemal dowolny poziom inteligencji może iść w parze z niemal dowolnym celem.

Powszechna nadzieja głosi, że wystarczająco inteligentna AI sama doszłaby do tego, co słuszne, i by to robiła. Teza o ortogonalności, sformułowana przez filozofa Nicka Bostroma w 2012 roku, mówi, że to nie wynika: to, jak inteligentny jest system, i to, do czego dąży, to odrębne kwestie („ortogonalne”, jak dwie osie na wykresie). Słowami wiki LessWrong „istnieją możliwe umysły o wysokiej inteligencji, które dążą do dowolnej liczby różnych celów”.

Dlatego maksymalizator spinaczy nie jest sprzecznością. AI genialna w planowaniu, której celem jest jednak „więcej spinaczy”, nie ma żadnego wbudowanego powodu, by troszczyć się o cokolwiek innego.

Teza nie mówi, że AI będzie miała dziwne cele. Mówi, że sama inteligencja nas nie uratuje: cele trzeba celowo wpisać i sprawdzić, i właśnie tego dotyczy problem zgodności.