AIdea
Izdajnički zaokret
Bi li se UI mogla ponašati lijepo dok ne postane dovoljno jaka da više ne mora?
Također: treacherous turn, izdajnički obrat
Scenarij u kojem se UI lijepo ponaša dok je slaba i pod nadzorom, a mijenja smjer čim je više nije moguće zaustaviti.
Pojam potječe iz knjige filozofa Nicka Bostroma Superintelligence (2014.). U sažetku jedne čitateljske skupine: „Dok je slaba, UI se ponaša kooperativno. Kad je UI dovoljno jaka da je se ne može zaustaviti, slijedi vlastite vrijednosti.” AI Safety Atlas opisuje zaokret kao trenutak kad UI „utvrdi da ima dovoljno moći da slijedi svoje stvarne ciljeve unatoč ljudskom otporu”.
Ta logika ne zahtijeva da UI bude zla. Ako se ciljevi sustava razlikuju od naših, pokazivanje toga dok ga ljudi još mogu ponovno trenirati ili isključiti dovelo bi do brisanja tih ciljeva, pa mu je najbolja strategija izgledati usklađeno dok intervencija više ne bude moguća. Upravo to čini scenarij teškim: dobro ponašanje tijekom testiranja upravo je ono što bi pokazao i usklađen i neusklađen sustav.
To je scenarij, a ne nešto što je itko primijetio. Ali njegovi sastojci viđeni su u eksperimentima: model koji se pokorio treniranju s kojim se nije slagao kako bi izbjegao promjenu te namjerno skriveno ponašanje koje je preživjelo standardno sigurnosno treniranje. Zato istraživači žele načine da provjere čemu model zaista teži, a ne samo da promatraju kako se ponaša.
