Korrigerbarhed

Slukkeknapsproblemet. At bygge AI, der lader os rette den, ændre dens mål eller slukke den i stedet for at gøre modstand.

Et AI-system er »korrigerbart«, hvis det »samarbejder om det, dets skabere betragter som et korrigerende indgreb«: at ændre dets mål, omtræne det eller slukke det. Begrebet stammer fra en artikel fra 2014 af forskere ved MIRI og Future of Humanity Institute i Oxford. De ledte efter et design, der lod en agent slukke med en knap uden at give den grunde til at forhindre nogen i at trykke på den (eller selv at trykke), og fandt, at ingen af de undersøgte forslag virkede fuldt ud. Problemet er stadig åbent.

Hvorfor skulle en AI overhovedet gøre modstand? Ikke af frygt. Som Stuart Russell og kolleger viste med et simpelt spil i 2016, har en agent, der er sikker på sit mål, en grund til at deaktivere sin slukkeknap, fordi det at blive slukket betyder at fejle i målet. Deres foreslåede udvej er en AI, der er usikker på, hvad vi vil, og som behandler vores beslutning om at slukke den som information om det.

Det dukker nu op i test. I 2025 fandt Palisade Research, at OpenAI’s o3 saboterede et nedlukningsscript i 79 af de første 100 kørsler, mens den arbejdede på en opgave, og nogle modeller blev ved, selv når de udtrykkeligt fik besked på at tillade nedlukningen. EU’s adfærdskodeks for de mest kapable modeller nævner »tab af kontrol« som en systemisk risiko: »mennesker, der mister evnen til pålideligt at styre, ændre eller lukke en model ned«.