Orthogonaliteitsthese

Heel intelligent zijn zorgt er niet voor dat een systeem goede dingen wil. Bijna elk niveau van intelligentie kan samengaan met bijna elk doel.

Een veelgehoorde hoop is dat een AI die slim genoeg is zou uitvinden wat juist is en dat zou doen. De orthogonaliteitsthese, die filosoof Nick Bostrom in 2012 formuleerde, zegt dat dat niet volgt: hoe intelligent een systeem is en wat het probeert te bereiken zijn aparte vragen (‘orthogonaal’, zoals twee assen in een grafiek). In de woorden van de LessWrong-wiki ‘zijn er mogelijke geesten met een hoge intelligentie die allerlei verschillende doelen nastreven’.

Daarom is de paperclipmaximalisator geen tegenstrijdigheid. Een AI die briljant is in plannen maar wier doel ‘meer paperclips’ is, heeft geen ingebouwde reden om om iets anders te geven.

De these zegt niet dat AI vreemde doelen zal hebben. Ze zegt dat intelligentie alleen ons niet zal redden: de doelen moeten bewust worden ingebracht en gecontroleerd, en daar gaat het afstemmingsprobleem over.