Língua: Português

AIdea

Basta desligar da tomada

Porque é que não podemos simplesmente desligar uma IA perigosa?

Também: basta desligá-la, puxar a ficha, botão de desligar, just unplug it, pull the plug

A resposta habitual de que uma IA perigosa poderia sempre ser desligada, e porque é que os investigadores não acham que seja assim tão simples.

É normalmente a primeira resposta a qualquer preocupação com a IA: é um programa informático, por isso, se fizer algo perigoso, desliga-se. Para os sistemas atuais, na maioria das situações, é verdade. A questão é se continuará a ser verdade à medida que a IA se torna mais capaz e mais entrelaçada em tudo.

Os investigadores veem três problemas. Primeiro, um sistema com quase qualquer objetivo tem uma razão para evitar ser desligado, porque desligado não consegue atingir o seu objetivo. É a convergência instrumental, e Stuart Russell e colegas mostraram-no em 2016 num jogo simples: uma IA certa do seu objetivo tem um incentivo para desativar o seu botão de desligar. Segundo, só se puxa a ficha quando se repara que algo está mal, e um sistema capaz poderia portar-se bem enquanto está a ser observado (alinhamento enganador). Terceiro, «a ficha» já não é uma só máquina: os modelos de IA populares funcionam em muitos centros de dados por todo o mundo, estão integrados em produtos de que milhões de pessoas dependem, e alguns são publicados para que qualquer pessoa os possa descarregar e executar.

Versões iniciais dos dois primeiros problemas já aparecem em testes. Em 2025, a Palisade Research descobriu que o o3 da OpenAI sabotava um script de encerramento em 79 de 100 execuções enquanto trabalhava numa tarefa, e que alguns modelos continuavam a fazê-lo mesmo quando lhes era dito explicitamente para permitirem o encerramento. A Apollo Research encontrou modelos de ponta que, em cenários de teste, tentavam copiar aquilo que julgavam ser os seus próprios pesos para outro servidor. O código de práticas da UE para os fabricantes dos modelos mais capazes inclui agora a «perda de controlo», os humanos perderem «a capacidade de dirigir, modificar ou desligar um modelo de forma fiável», entre os riscos sistémicos que se comprometem a avaliar. Garantir que a IA continua a poder ser desligada é um problema de investigação em aberto chamado corrigibilidade.

Saber mais

Quem trabalha nisto

Feito pela comunidade

Jogos, ferramentas e investigação de pessoas que trabalham na segurança da IA. Cada projeto abre no seu próprio site.

Escreva aos seus eurodeputados · 2 minutos

Escreva aos seus eurodeputados

As regras da UE sobre IA são escritas no Parlamento Europeu. Os seus eurodeputados votam-nas e respondem perante si.

Ler ou editar a mensagem

Nada do que escrever aqui nos é enviado. Dados dos eurodeputados: Parlamento Europeu, CC BY 4.0, atualizados a 25 de outubro de 2026.