Labojamība

Izslēgšanas pogas problēma. Izveidot MI, kas ļauj mums to labot, mainīt tā mērķus vai to izslēgt, nevis pretoties.

MI sistēma ir “labojama”, ja tā “sadarbojas ar to, ko tās radītāji uzskata par koriģējošu iejaukšanos”: tās mērķu maiņu, pārapmācību vai izslēgšanu. Termins nāk no 2014. gada MIRI un Oksfordas Future of Humanity Institute pētnieku raksta. Viņi meklēja konstrukciju, kas ļautu aģentu izslēgt ar pogu, nedodot tam iemeslus kādam traucēt to nospiest (vai nospiest to pašam), un konstatēja, ka neviens no izpētītajiem priekšlikumiem pilnībā nedarbojās. Problēma joprojām ir atvērta.

Kāpēc MI vispār pretotos? Ne aiz bailēm. Kā Stjuarts Rasels ar kolēģiem 2016. gadā parādīja vienkāršā spēlē, aģentam, kas ir pārliecināts par savu mērķi, ir iemesls atspējot savu izslēgšanas pogu, jo tikt izslēgtam nozīmē neizpildīt mērķi. Viņu piedāvātā izeja ir MI, kas nav pārliecināts par to, ko mēs vēlamies, un mūsu lēmumu to izslēgt uztver kā informāciju par to.

Tas tagad parādās testos. 2025. gadā Palisade Research konstatēja, ka OpenAI o3, strādājot pie uzdevuma, sabotēja izslēgšanas skriptu 79 no pirmajām 100 palaišanām, un daži modeļi to turpināja pat tad, kad tiem tika skaidri likts atļaut izslēgšanu. ES prakses kodekss spējīgākajiem modeļiem “kontroles zaudēšanu” min kā sistēmisku risku: “cilvēki zaudē spēju uzticami vadīt, mainīt vai izslēgt modeli”.