AIdea
Tiesiog ištrauk kištuką
Kodėl negalime tiesiog išjungti pavojingo DI?
Taip pat: tiesiog išjunk, ištraukti kištuką, išjungimo mygtukas, just unplug it, pull the plug
Įprastas atsakymas, kad pavojingą DI visada galima išjungti, ir kodėl tyrėjai mano, kad viskas nėra taip paprasta.
Paprastai tai pirmas atsakymas į bet kokį nerimą dėl DI: tai kompiuterio programa, tad jei ji padarys ką nors pavojingo, ją išjungsi. Šiandieninėms sistemoms daugeliu atvejų tai tiesa. Klausimas, ar tai išliks tiesa, kai DI taps pajėgesnis ir labiau įsipins į viską.
Tyrėjai mato tris problemas. Pirma, sistema, turinti beveik bet kokį tikslą, turi priežastį vengti išjungimo, nes išjungta ji negali pasiekti savo tikslo. Tai instrumentinė konvergencija, ir Stuartas Russellas su kolegomis 2016 m. tai parodė paprastame žaidime: DI, kuris yra tikras dėl savo tikslo, turi paskatą išjungti savo išjungimo mygtuką. Antra, kištuką ištrauki tik tada, kai pastebi, kad kažkas negerai, o pajėgi sistema galėtų gražiai elgtis, kol yra stebima (apgaulingas suderinimas). Trečia, „kištukas“ jau nebėra viena mašina: populiarūs DI modeliai veikia daugybėje duomenų centrų visame pasaulyje, yra įdiegti į produktus, kuriais pasikliauja milijonai žmonių, o kai kurie paskelbiami taip, kad bet kas gali juos atsisiųsti ir paleisti.
Ankstyvos pirmųjų dviejų problemų formos jau pasirodo bandymuose. 2025 m. Palisade Research nustatė, kad OpenAI o3, dirbdamas su užduotimi, sabotavo išjungimo scenarijų 79 iš 100 paleidimų ir kad kai kurie modeliai tai darė toliau net tada, kai jiems buvo aiškiai liepta leisti išjungti. Apollo Research rado pažangiausių modelių, kurie bandomuosiuose scenarijuose mėgino į kitą serverį nukopijuoti tai, ką laikė savo svoriais. ES praktikos kodeksas pajėgiausių modelių kūrėjams dabar „kontrolės praradimą“, kai žmonės praranda „gebėjimą patikimai valdyti, keisti ar išjungti modelį“, nurodo tarp sisteminių rizikų, kurias jie įsipareigoja vertinti. Užtikrinti, kad DI išliktų išjungiamas, yra atvira tyrimų problema, vadinama pataisomumu.



