Ispravljivost

Problem prekidača za isključivanje. Izgraditi UI koja nam dopušta da je ispravimo, promijenimo joj ciljeve ili je isključimo, umjesto da se opire.

Sustav UI-ja je „ispravljiv” ako „surađuje s onim što njegovi tvorci smatraju korektivnom intervencijom”: mijenjanjem njegovih ciljeva, ponovnim treniranjem ili isključivanjem. Pojam potječe iz rada iz 2014. istraživača MIRI-ja i oksfordskog Future of Humanity Institutea. Tražili su dizajn koji bi omogućio da se agent isključi gumbom, a da mu se ne daju razlozi da ikoga spriječi da ga pritisne (ili da ga sam pritisne), i utvrdili da nijedan od razmatranih prijedloga nije u potpunosti funkcionirao. Problem je i dalje otvoren.

Zašto bi se UI uopće opirala? Ne iz straha. Kako su Stuart Russell i suradnici pokazali jednostavnom igrom 2016., agent siguran u svoj cilj ima razlog onesposobiti svoj prekidač za isključivanje, jer biti isključen znači ne ostvariti cilj. Izlaz koji predlažu jest UI koja nije sigurna što želimo i našu odluku da je isključimo tretira kao informaciju o tome.

To se sada pojavljuje u testovima. Palisade Research je 2025. utvrdio da je OpenAI-jev o3 tijekom rada na zadatku sabotirao skriptu za isključivanje u 79 od 100 početnih pokretanja, a neki su modeli to nastavili činiti čak i kad im je izričito rečeno da dopuste isključivanje. Kodeks prakse EU-a za najsposobnije modele navodi „gubitak kontrole” kao sustavni rizik: „ljudi gube sposobnost pouzdanog usmjeravanja, mijenjanja ili isključivanja modela”.