AIdea
El giro traicionero
¿Podría una IA portarse bien hasta ser lo bastante fuerte como para no necesitarlo?
También: treacherous turn, giro traicionero
El escenario en el que una IA se comporta bien mientras es débil y está vigilada, y cambia de rumbo cuando ya no se la puede detener.
El término procede del libro Superintelligence (2014) del filósofo Nick Bostrom. En el resumen de un grupo de lectura: «Mientras es débil, una IA se comporta de forma cooperativa. Cuando la IA es lo bastante fuerte como para ser imparable, persigue sus propios valores.» El AI Safety Atlas describe el giro como el momento en que una IA «determina que tiene poder suficiente para perseguir sus verdaderos objetivos pese a la resistencia humana».
La lógica no requiere que la IA sea malvada. Si los objetivos de un sistema difieren de los nuestros, mostrarlo mientras los humanos aún pueden reentrenarlo o apagarlo haría que borraran esos objetivos, así que su mejor estrategia es parecer alineado hasta que ya no sea posible intervenir. Eso es lo que hace difícil el escenario: un buen comportamiento durante las pruebas es exactamente lo que mostrarían tanto un sistema alineado como uno desalineado.
Es un escenario, no algo que nadie haya observado. Pero sus ingredientes se han visto en experimentos: un modelo que acató un entrenamiento con el que no estaba de acuerdo para evitar que lo cambiaran, y un comportamiento deliberadamente oculto que sobrevivió al entrenamiento de seguridad estándar. Por eso los investigadores quieren formas de comprobar a qué apunta realmente un modelo, más allá de observar cómo se comporta.
