Ortogonalitási tézis

Attól, hogy egy rendszer nagyon intelligens, még nem akar jó dolgokat. Szinte bármilyen intelligenciaszint szinte bármilyen céllal párosulhat.

Gyakori remény, hogy egy elég okos MI rájönne, mi a helyes, és azt tenné. Az ortogonalitási tézis, amelyet Nick Bostrom filozófus fogalmazott meg 2012-ben, azt mondja, hogy ez nem következik: az, hogy egy rendszer mennyire intelligens, és hogy mit próbál elérni, két külön kérdés („ortogonális”, mint egy grafikon két tengelye). A LessWrong wiki szavaival: „léteznek olyan lehetséges elmék, amelyek nagy intelligenciával bármennyi különböző célt követnek”.

Ezért nem ellentmondás a gemkapocs-maximalizáló. Egy MI, amely zseniális a tervezésben, de célja a „több gemkapocs”, semmilyen beépített okkal nem rendelkezik arra, hogy bármi más érdekelje.

A tézis nem azt mondja, hogy az MI-nek furcsa céljai lesznek. Azt mondja, hogy az intelligencia önmagában nem ment meg minket: a célokat szándékosan kell beépíteni és ellenőrizni, és pontosan erről szól az összehangolás problémája.