Corregibilidad

El problema del botón de apagado. Construir una IA que nos deje corregirla, cambiar sus objetivos o apagarla, en lugar de resistirse.

Un sistema de IA es «corregible» si «coopera con lo que sus creadores consideran una intervención correctiva»: cambiar sus objetivos, reentrenarlo o apagarlo. El término procede de un artículo de 2014 de investigadores del MIRI y del Future of Humanity Institute de Oxford. Buscaban un diseño que permitiera apagar a un agente con un botón sin darle motivos para impedir que alguien lo pulsara (ni para pulsarlo él mismo), y concluyeron que ninguna de las propuestas examinadas funcionaba del todo. El problema sigue abierto.

¿Por qué iba a resistirse una IA? No por miedo. Como mostraron Stuart Russell y sus colegas con un juego sencillo en 2016, un agente seguro de su objetivo tiene un motivo para desactivar su botón de apagado, porque que lo apaguen significa fracasar en su objetivo. La salida que proponen es una IA que no esté segura de lo que queremos y trate nuestra decisión de apagarla como información al respecto.

Esto ya aparece en pruebas. En 2025, Palisade Research descubrió que o3 de OpenAI saboteaba un script de apagado en 79 de las 100 primeras ejecuciones mientras trabajaba en una tarea, y algunos modelos seguían haciéndolo incluso cuando se les decía explícitamente que permitieran el apagado. El código de buenas prácticas de la UE para los modelos más capaces señala la «pérdida de control» como riesgo sistémico: «que los humanos pierdan la capacidad de dirigir, modificar o apagar un modelo de forma fiable».