Korrigálhatóság

A kikapcsológomb problémája. Olyan MI építése, amely hagyja, hogy kijavítsuk, megváltoztassuk a céljait vagy kikapcsoljuk, ahelyett hogy ellenállna.

Egy MI-rendszer akkor „korrigálható”, ha „együttműködik azzal, amit alkotói korrekciós beavatkozásnak tekintenek”: céljai megváltoztatásával, újratanításával vagy kikapcsolásával. A kifejezés a MIRI és az oxfordi Future of Humanity Institute kutatóinak 2014-es tanulmányából származik. Olyan tervet kerestek, amely lehetővé tenné egy ügynök gombnyomással történő leállítását anélkül, hogy okot adna neki arra, hogy bárkit megakadályozzon a gomb megnyomásában (vagy hogy maga nyomja meg), és azt találták, hogy a megvizsgált javaslatok egyike sem működött teljesen. A probléma ma is nyitott.

Miért állna ellen egyáltalán egy MI? Nem félelemből. Ahogy Stuart Russell és kollégái 2016-ban egy egyszerű játékkal megmutatták, egy célja felől biztos ügynöknek oka van hatástalanítani a kikapcsológombját, mert a kikapcsolás a cél kudarcát jelenti. Az általuk javasolt kiút egy olyan MI, amely bizonytalan abban, mit akarunk, és a kikapcsolására vonatkozó döntésünket erről szóló információként kezeli.

Ez most már tesztekben is megjelenik. 2025-ben a Palisade Research azt találta, hogy az OpenAI o3-a egy feladaton dolgozva az első 100 futtatásból 79-ben szabotált egy leállító szkriptet, és egyes modellek akkor is folytatták, amikor kifejezetten utasították őket, hogy engedjék a leállítást. Az EU gyakorlati kódexe a legképesebb modellekre vonatkozóan rendszerszintű kockázatként nevezi meg az „irányítás elvesztését”: „az emberek elveszítik a modell megbízható irányításának, módosításának vagy leállításának képességét”.