Ortogonaalisuusteesi

Hyvin älykkääksi tuleminen ei saa järjestelmää haluamaan hyviä asioita. Lähes mikä tahansa älykkyyden taso voi yhdistyä lähes mihin tahansa tavoitteeseen.

Yleinen toive on, että tarpeeksi älykäs tekoäly päättelisi, mikä on oikein, ja tekisi sen. Filosofi Nick Bostromin vuonna 2012 esittämä ortogonaalisuusteesi sanoo, ettei tämä seuraa: se, kuinka älykäs järjestelmä on, ja se, mitä se yrittää saavuttaa, ovat erillisiä kysymyksiä (”ortogonaalisia” kuin kuvaajan kaksi akselia). LessWrong-wikin sanoin ”on olemassa mahdollisia mieliä, joilla on korkea älykkyys ja jotka tavoittelevat mitä tahansa määrää erilaisia päämääriä”.

Siksi paperiliitinmaksimoija ei ole ristiriita. Tekoälyllä, joka on loistava suunnittelemaan mutta jonka tavoite on ”lisää paperiliittimiä”, ei ole mitään sisäänrakennettua syytä välittää mistään muusta.

Teesi ei sano, että tekoälyllä olisi outoja tavoitteita. Se sanoo, että älykkyys yksin ei pelasta meitä: tavoitteet on asetettava tarkoituksella ja tarkistettava, ja siitä linjausongelmassa on kyse.