Teza ortogonalității

A fi foarte inteligent nu face ca un sistem să vrea lucruri bune. Aproape orice nivel de inteligență poate merge cu aproape orice obiectiv.

O speranță des întâlnită este că o IA suficient de inteligentă și-ar da seama ce e corect și ar face asta. Teza ortogonalității, formulată de filosoful Nick Bostrom în 2012, spune că asta nu decurge de aici: cât de inteligent este un sistem și ce încearcă să obțină sunt întrebări separate („ortogonale”, ca două axe pe un grafic). În cuvintele wiki-ului LessWrong, „există minți posibile cu inteligență ridicată care urmăresc oricâte obiective diferite”.

De aceea maximizatorul de agrafe nu este o contradicție. O IA strălucită la planificare, dar al cărei obiectiv este „mai multe agrafe”, nu are niciun motiv încorporat să-i pese de altceva.

Teza nu spune că IA va avea obiective ciudate. Spune că inteligența singură nu ne va salva: obiectivele trebuie introduse deliberat și verificate, iar despre asta este problema alinierii.