Corrigibilidade

O problema do botão de desligar. Construir uma IA que nos deixe corrigi-la, mudar os seus objetivos ou desligá-la, em vez de resistir.

Um sistema de IA é «corrigível» se «coopera com aquilo que os seus criadores consideram uma intervenção corretiva»: mudar os seus objetivos, retreiná-lo ou desligá-lo. O termo vem de um artigo de 2014 de investigadores do MIRI e do Future of Humanity Institute de Oxford. Procuravam um design que permitisse desligar um agente com um botão sem lhe dar razões para impedir alguém de o carregar (ou para o carregar ele próprio), e concluíram que nenhuma das propostas analisadas funcionava totalmente. O problema continua em aberto.

Porque é que uma IA haveria de resistir? Não por medo. Como Stuart Russell e colegas mostraram com um jogo simples em 2016, um agente certo do seu objetivo tem uma razão para desativar o seu botão de desligar, porque ser desligado significa falhar o objetivo. A saída que propõem é uma IA que não tem a certeza do que queremos e trata a nossa decisão de a desligar como informação sobre isso.

Isto já aparece em testes. Em 2025, a Palisade Research descobriu que o o3 da OpenAI sabotava um script de encerramento em 79 das 100 primeiras execuções enquanto trabalhava numa tarefa, e alguns modelos continuavam a fazê-lo mesmo quando lhes era dito explicitamente para permitirem o encerramento. O código de práticas da UE para os modelos mais capazes aponta a «perda de controlo» como risco sistémico: «humanos que perdem a capacidade de dirigir, modificar ou desligar um modelo de forma fiável».