Tese da ortogonalidade

Ser muito inteligente não faz um sistema querer coisas boas. Quase qualquer nível de inteligência pode andar a par de quase qualquer objetivo.

Uma esperança comum é que uma IA suficientemente inteligente descobriria o que está certo e fá-lo-ia. A tese da ortogonalidade, formulada pelo filósofo Nick Bostrom em 2012, diz que isso não decorre: quão inteligente um sistema é e o que tenta alcançar são questões separadas («ortogonais», como dois eixos de um gráfico). Nas palavras da wiki do LessWrong, «existem mentes possíveis com elevada inteligência que perseguem qualquer número de objetivos diferentes».

É por isso que o maximizador de clipes não é uma contradição. Uma IA brilhante a planear, mas cujo objetivo é «mais clipes», não tem nenhuma razão incorporada para se importar com mais nada.

A tese não diz que a IA terá objetivos estranhos. Diz que a inteligência por si só não nos salvará: os objetivos têm de ser incluídos deliberadamente e verificados, que é precisamente o tema do problema do alinhamento.