Popravljivost

Problem stikala za izklop. Zgraditi UI, ki nam dovoli, da jo popravimo, spremenimo njene cilje ali jo izklopimo, namesto da bi se upirala.

Sistem UI je »popravljiv«, če »sodeluje pri tem, kar njegovi ustvarjalci štejejo za popravni poseg«: pri spreminjanju njegovih ciljev, ponovnem učenju ali izklopu. Izraz izhaja iz članka iz leta 2014, ki so ga napisali raziskovalci MIRI in oxfordskega Future of Humanity Institute. Iskali so zasnovo, ki bi omogočila izklop agenta z gumbom, ne da bi mu dala razloge, da komu prepreči pritisk nanj (ali da ga pritisne sam), in ugotovili, da noben od preučenih predlogov ni v celoti deloval. Problem je še vedno odprt.

Zakaj bi se UI sploh upirala? Ne iz strahu. Kot so Stuart Russell in sodelavci leta 2016 pokazali s preprosto igro, ima agent, ki je prepričan o svojem cilju, razlog, da onemogoči svoje stikalo za izklop, saj izklop pomeni neuspeh pri cilju. Izhod, ki ga predlagajo, je UI, ki ni prepričana, kaj želimo, in našo odločitev o izklopu obravnava kot informacijo o tem.

To se zdaj kaže v testih. Leta 2025 je Palisade Research ugotovil, da je o3 podjetja OpenAI med delom na nalogi v 79 od 100 začetnih zagonov saboteral skript za izklop, nekateri modeli pa so s tem nadaljevali, tudi ko so dobili izrecno navodilo, naj izklop dovolijo. Kodeks ravnanja EU za najzmogljivejše modele navaja »izgubo nadzora« kot sistemsko tveganje: »ljudje izgubijo zmožnost zanesljivega usmerjanja, spreminjanja ali izklopa modela«.