Rekurzivno samoizboljševanje

Programerji, programer, programerka, razvijalec, razvijalka, informatik, IT, koda, programiranje, Znanstveniki in raziskovalci, znanstvenik, znanstvenica, raziskovalec, raziskovalka, raziskave, akademik, laboratorij

UI, ki pomaga zgraditi boljšo UI, ta pa še boljšo, v povratni zanki, ki bi lahko napredek dramatično pospešila.

Večina tehnologij se ne izboljšuje sama. UI bi se lahko: načrtovanje in učenje sistemov UI je samo po sebi umsko delo, in če UI postane dobra v tem delu, bi lahko vsaka generacija pomagala zgraditi močnejšo naslednjo. AI Safety Atlas to opisuje kot »sistem UI postaja boljši pri izboljševanju samega sebe«, povratno zanko, ki se nenehno pospešuje. Zamisel sega k statistiku I. J. Goodu, ki je leta 1965 trdil, da bi stroj, pametnejši od nas, lahko zasnoval še boljše stroje, kar bi vodilo v »eksplozijo inteligence«.

Kako hitro bi takšna zanka tekla, je sporno. V predstavi »hitrega vzleta« hitro uide izpod nadzora in pusti malo časa za odziv. V predstavi »počasnega vzleta« se napredek sešteva bolj postopoma, čeprav po eni oceni še vedno 10- do 100-krat hitreje kot industrijska revolucija. Atlas ugotavlja, da se razlika pogosto zvede na vprašanje, ali bi bile težave pravočasno opazne in popravljive. Scenariji, kot je AI 2027, UI, ki raziskuje UI, obravnavajo kot prelomnico.

Za varnost je to pomembno, ker hitra zanka skrajša čas za odkrivanje in odpravljanje težav. Kodeks ravnanja EU za najzmogljivejše modele UI »samoizboljševanje« in UI, ki »samostojno ustvarja ali izboljšuje modele UI«, navaja med načini, kako bi ljudje lahko izgubili nadzor.