Corigibilitate

Problema butonului de oprire. Construirea unei IA care ne lasă s-o corectăm, să-i schimbăm obiectivele sau s-o oprim, în loc să se opună.

Un sistem IA este „corigibil” dacă „cooperează cu ceea ce creatorii săi consideră o intervenție corectivă”: schimbarea obiectivelor, reantrenarea sau oprirea lui. Termenul vine dintr-o lucrare din 2014 a unor cercetători de la MIRI și de la Future of Humanity Institute din Oxford. Ei au căutat un design care să permită oprirea unui agent cu un buton, fără să-i dea motive să împiedice pe cineva să-l apese (sau să-l apese singur), și au constatat că niciuna dintre propunerile examinate nu funcționa pe deplin. Problema rămâne deschisă.

De ce s-ar opune o IA? Nu din frică. Cum au arătat Stuart Russell și colegii săi cu un joc simplu în 2016, un agent sigur pe obiectivul său are un motiv să-și dezactiveze butonul de oprire, pentru că a fi oprit înseamnă a eșua în atingerea obiectivului. Ieșirea pe care o propun este o IA nesigură de ce vrem noi, care tratează decizia noastră de a o opri ca pe o informație despre asta.

Acest lucru apare acum în teste. În 2025, Palisade Research a constatat că o3 de la OpenAI a sabotat un script de oprire în 79 din primele 100 de rulări în timp ce lucra la o sarcină, iar unele modele continuau chiar și când li se spunea explicit să permită oprirea. Codul de bune practici al UE pentru cele mai capabile modele numește „pierderea controlului” drept risc sistemic: „oameni care pierd capacitatea de a dirija, modifica sau opri un model în mod fiabil”.