AIdea
Basta desligar da tomada
Porque é que não podemos simplesmente desligar uma IA perigosa?
Também: basta desligá-la, puxar a ficha, botão de desligar, just unplug it, pull the plug
A resposta habitual de que uma IA perigosa poderia sempre ser desligada, e porque é que os investigadores não acham que seja assim tão simples.
É normalmente a primeira resposta a qualquer preocupação com a IA: é um programa informático, por isso, se fizer algo perigoso, desliga-se. Para os sistemas atuais, na maioria das situações, é verdade. A questão é se continuará a ser verdade à medida que a IA se torna mais capaz e mais entrelaçada em tudo.
Os investigadores veem três problemas. Primeiro, um sistema com quase qualquer objetivo tem uma razão para evitar ser desligado, porque desligado não consegue atingir o seu objetivo. É a convergência instrumental, e Stuart Russell e colegas mostraram-no em 2016 num jogo simples: uma IA certa do seu objetivo tem um incentivo para desativar o seu botão de desligar. Segundo, só se puxa a ficha quando se repara que algo está mal, e um sistema capaz poderia portar-se bem enquanto está a ser observado (alinhamento enganador). Terceiro, «a ficha» já não é uma só máquina: os modelos de IA populares funcionam em muitos centros de dados por todo o mundo, estão integrados em produtos de que milhões de pessoas dependem, e alguns são publicados para que qualquer pessoa os possa descarregar e executar.
Versões iniciais dos dois primeiros problemas já aparecem em testes. Em 2025, a Palisade Research descobriu que o o3 da OpenAI sabotava um script de encerramento em 79 de 100 execuções enquanto trabalhava numa tarefa, e que alguns modelos continuavam a fazê-lo mesmo quando lhes era dito explicitamente para permitirem o encerramento. A Apollo Research encontrou modelos de ponta que, em cenários de teste, tentavam copiar aquilo que julgavam ser os seus próprios pesos para outro servidor. O código de práticas da UE para os fabricantes dos modelos mais capazes inclui agora a «perda de controlo», os humanos perderem «a capacidade de dirigir, modificar ou desligar um modelo de forma fiável», entre os riscos sistémicos que se comprometem a avaliar. Garantir que a IA continua a poder ser desligada é um problema de investigação em aberto chamado corrigibilidade.



