Reetlik pööre

Ka: treacherous turn, reetlik kursimuutus

Stsenaarium, kus tehisintellekt käitub hästi, kuni ta on nõrk ja jälgitav, ning muudab kurssi, kui teda enam peatada ei saa.

Mõiste pärineb filosoof Nick Bostromi raamatust Superintelligence (2014). Ühe lugemisringi kokkuvõttes: „Nõrgana käitub tehisintellekt koostööaltilt. Kui tehisintellekt on piisavalt tugev, et olla peatamatu, ajab ta taga oma väärtusi.“ AI Safety Atlas kirjeldab pööret kui hetke, mil tehisintellekt „otsustab, et tal on piisavalt võimu oma tegelike eesmärkide taotlemiseks inimeste vastupanust hoolimata“.

See loogika ei eelda, et tehisintellekt on kuri. Kui süsteemi eesmärgid erinevad meie omadest, viiks selle näitamine ajal, mil inimesed saavad seda veel ümber treenida või välja lülitada, nende eesmärkide kustutamiseni, nii et tema parim strateegia on paista joondatuna seni, kuni sekkumine pole enam võimalik. Just see teebki stsenaariumi keeruliseks: hea käitumine testimise ajal on täpselt see, mida näitaksid nii joondatud kui ka joondamata süsteem.

See on stsenaarium, mitte midagi, mida keegi oleks täheldanud. Kuid selle koostisosi on katsetes nähtud: mudel, mis allus treeningule, millega ta polnud nõus, et vältida muutmist, ja tahtlikult peidetud käitumine, mis elas üle tavapärase ohutustreeningu. Seepärast tahavad teadlased viise kontrollida, mille poole mudel tegelikult püüdleb, mitte ainult jälgida, kuidas ta käitub.