Pataisomumas

Išjungimo mygtuko problema. Sukurti DI, kuris leistų mums jį taisyti, keisti jo tikslus ar jį išjungti, užuot priešinęsis.

DI sistema yra „pataisoma“, jei ji „bendradarbiauja su tuo, ką jos kūrėjai laiko taisomąja intervencija“: keičiant jos tikslus, ją permokant ar išjungiant. Sąvoka kilo iš 2014 m. MIRI ir Oksfordo Future of Humanity Institute tyrėjų straipsnio. Jie ieškojo konstrukcijos, kuri leistų agentą išjungti mygtuku, nesuteikiant jam priežasčių trukdyti kam nors jį paspausti (ar paspausti jį pačiam), ir nustatė, kad nė vienas išnagrinėtas pasiūlymas iki galo neveikė. Problema tebėra atvira.

Kodėl DI apskritai priešintųsi? Ne iš baimės. Kaip 2016 m. paprastu žaidimu parodė Stuartas Russellas su kolegomis, agentas, tikras dėl savo tikslo, turi priežastį išjungti savo išjungimo mygtuką, nes būti išjungtam reiškia nepasiekti tikslo. Jų siūloma išeitis – DI, kuris nėra tikras, ko norime, ir mūsų sprendimą jį išjungti traktuoja kaip informaciją apie tai.

Dabar tai matoma bandymuose. 2025 m. Palisade Research nustatė, kad OpenAI o3, dirbdamas su užduotimi, sabotavo išjungimo scenarijų 79 iš pirmųjų 100 paleidimų, o kai kurie modeliai tai darė toliau net tada, kai jiems buvo aiškiai liepta leisti išjungti. ES praktikos kodeksas pajėgiausiems modeliams „kontrolės praradimą“ įvardija kaip sisteminę riziką: „žmonės praranda gebėjimą patikimai valdyti, keisti ar išjungti modelį“.