Korrigerbarhet

Avstängningsknappsproblemet. Att bygga AI som låter oss rätta den, ändra dess mål eller stänga av den, i stället för att göra motstånd.

Ett AI-system är ”korrigerbart” om det ”samarbetar med det som dess skapare betraktar som ett korrigerande ingrepp”: att ändra dess mål, träna om det eller stänga av det. Begreppet kommer från en artikel från 2014 av forskare vid MIRI och Future of Humanity Institute i Oxford. De letade efter en konstruktion som lät en agent stängas av med en knapp utan att ge den skäl att hindra någon från att trycka på den (eller att trycka själv), och fann att inget av de undersökta förslagen fungerade fullt ut. Problemet är fortfarande öppet.

Varför skulle en AI alls göra motstånd? Inte av rädsla. Som Stuart Russell och kollegor visade med ett enkelt spel 2016 har en agent som är säker på sitt mål ett skäl att inaktivera sin avstängningsknapp, eftersom att bli avstängd innebär att misslyckas med målet. Deras föreslagna utväg är en AI som är osäker på vad vi vill och som behandlar vårt beslut att stänga av den som information om det.

Det dyker nu upp i tester. 2025 fann Palisade Research att OpenAI:s o3 saboterade ett avstängningsskript i 79 av de första 100 körningarna medan den arbetade med en uppgift, och vissa modeller fortsatte även när de uttryckligen ombads tillåta avstängningen. EU:s uppförandekod för de mest kapabla modellerna nämner ”förlust av kontroll” som en systemrisk: ”människor som förlorar förmågan att på ett tillförlitligt sätt styra, ändra eller stänga av en modell”.