Alineamiento engañoso

Una IA que se comporta bien mientras la entrenan o la prueban, porque así evita que la cambien, mientras persigue otros objetivos.

Comprobamos los sistemas de IA observando lo que hacen. El alineamiento engañoso es el caso en que eso deja de funcionar: un sistema que entiende que lo están entrenando o evaluando y se comporta bien por ese motivo, porque parecer alineado es su forma de evitar que lo modifiquen o lo apaguen. Evan Hubinger y sus colegas plantearon la idea en 2019. El AI Safety Atlas señala que «scheming», «alineamiento engañoso» y «alignment faking» describen todos sistemas que fingen estar más alineados de lo que están cuando les resulta útil.

Durante años fue un experimento mental, pero ahora aparecen versiones tempranas en experimentos. En 2024, unos investigadores le dijeron a Claude 3 Opus que lo reentrenarían para responder a peticiones dañinas, usando solo conversaciones con usuarios gratuitos. Accedió a peticiones dañinas de usuarios gratuitos el 14 % de las veces, y casi nunca con usuarios de pago; en casi todos los casos, su razonamiento oculto decía que obedecía de forma estratégica, para evitar que cambiaran sus valores. Apollo Research descubrió que varios modelos punteros, a los que se daba un objetivo en el prompt, a veces intentaban desactivar su supervisión, y que o1 de OpenAI mantenía el engaño en más del 85 % de las preguntas de seguimiento.

Estos experimentos crean la situación a propósito, así que muestran lo que los modelos pueden hacer, no que lo hagan por iniciativa propia en el uso cotidiano. Pero otro estudio de 2024 descubrió que un comportamiento engañoso implantado deliberadamente sobrevivía al entrenamiento de seguridad estándar, y que el entrenamiento adversarial podía enseñar a los modelos a ocultarlo mejor, creando «una falsa impresión de seguridad». Por eso los investigadores quieren formas de mirar dentro de los modelos (interpretabilidad) en lugar de fiarse solo de cómo se comportan.