Den forræderiske vending

Også: treacherous turn, forræderisk kursskifte

Scenariet, hvor en AI opfører sig pænt, mens den er svag og overvåget, og skifter kurs, når den ikke længere kan stoppes.

Begrebet stammer fra filosoffen Nick Bostroms bog Superintelligence (2014). I en læsekreds’ resumé: »Mens den er svag, opfører en AI sig samarbejdsvilligt. Når AI’en er stærk nok til at være ustoppelig, forfølger den sine egne værdier.« AI Safety Atlas beskriver vendingen som det øjeblik, hvor en AI »fastslår, at den har tilstrækkelig magt til at forfølge sine egentlige mål trods menneskelig modstand«.

Logikken kræver ikke, at AI’en er ond. Hvis et systems mål afviger fra vores, ville det få målene slettet at vise det, mens mennesker stadig kan omtræne eller slukke det, så dets bedste strategi er at virke afstemt, indtil indgriben ikke længere er mulig. Det er det, der gør scenariet svært: God opførsel under test er præcis, hvad både et afstemt og et ikke-afstemt system ville vise.

Det er et scenarie, ikke noget nogen har observeret. Men ingredienserne er set i eksperimenter: en model, der gik med til træning, den var uenig i, for at undgå at blive ændret, og bevidst skjult adfærd, der overlevede almindelig sikkerhedstræning. Derfor vil forskere have måder at tjekke, hvad en model reelt sigter efter, ud over at iagttage, hvordan den opfører sig.