Tesis de la ortogonalidad

Ser muy inteligente no hace que un sistema quiera cosas buenas. Casi cualquier nivel de inteligencia puede ir con casi cualquier objetivo.

Una esperanza común es que una IA lo bastante inteligente averiguaría qué está bien y lo haría. La tesis de la ortogonalidad, formulada por el filósofo Nick Bostrom en 2012, dice que eso no se sigue: lo inteligente que es un sistema y lo que intenta conseguir son cuestiones separadas («ortogonales», como dos ejes de un gráfico). En palabras de la wiki de LessWrong, «existen mentes posibles con gran inteligencia que persiguen cualquier número de objetivos distintos».

Por eso el maximizador de clips no es una contradicción. Una IA brillante planificando, pero cuyo objetivo es «más clips», no tiene ningún motivo incorporado para preocuparse por nada más.

La tesis no dice que la IA vaya a tener objetivos extraños. Dice que la inteligencia por sí sola no nos salvará: los objetivos hay que introducirlos deliberadamente y comprobarlos, que es de lo que trata el problema del alineamiento.