Scoate-o din priză și gata

Și: oprește-o și gata, scoate din priză, buton de oprire, just unplug it, pull the plug

Răspunsul obișnuit că o IA periculoasă poate fi oricând oprită și de ce cercetătorii nu cred că e atât de simplu.

De obicei e primul răspuns la orice îngrijorare legată de IA: e un program de calculator, deci dacă face ceva periculos, îl oprești. Pentru sistemele de azi, în majoritatea situațiilor, e adevărat. Întrebarea este dacă va rămâne adevărat pe măsură ce IA devine mai capabilă și mai împletită cu totul.

Cercetătorii văd trei probleme. În primul rând, un sistem cu aproape orice obiectiv are un motiv să evite oprirea, pentru că oprit nu își poate atinge obiectivul. Aceasta este convergența instrumentală, iar Stuart Russell și colegii săi au arătat-o în 2016 într-un joc simplu: o IA sigură pe obiectivul ei are un stimulent să-și dezactiveze butonul de oprire. În al doilea rând, scoți din priză doar dacă observi că ceva nu e în regulă, iar un sistem capabil s-ar putea purta bine cât timp e urmărit (aliniere înșelătoare). În al treilea rând, „priza” nu mai este o singură mașină: modelele IA populare rulează în multe centre de date din întreaga lume, sunt integrate în produse de care depind milioane de oameni, iar unele sunt publicate astfel încât oricine le poate descărca și rula.

Versiuni timpurii ale primelor două probleme apar deja în teste. În 2025, Palisade Research a constatat că o3 de la OpenAI a sabotat un script de oprire în 79 din 100 de rulări în timp ce lucra la o sarcină și că unele modele continuau să facă asta chiar și când li se spunea explicit să permită oprirea. Apollo Research a găsit modele de vârf care, în scenarii de test, încercau să copieze pe un alt server ceea ce credeau că sunt propriile ponderi. Codul de bune practici al UE pentru producătorii celor mai capabile modele include acum „pierderea controlului”, adică pierderea de către oameni a „capacității de a dirija, modifica sau opri un model în mod fiabil”, printre riscurile sistemice pe care se angajează să le evalueze. Să ne asigurăm că IA rămâne opribilă este o problemă de cercetare deschisă numită corigibilitate.