Коригируемост

Проблемът с бутона за изключване. Да се създаде ИИ, който ни позволява да го поправяме, да променяме целите му или да го изключваме, вместо да се съпротивлява.

Една система с ИИ е „коригируема“, ако „сътрудничи на това, което създателите ѝ смятат за коригираща намеса“: промяна на целите ѝ, преобучение или изключване. Терминът идва от статия от 2014 г. на изследователи от MIRI и оксфордския Future of Humanity Institute. Те търсели дизайн, който да позволява агентът да бъде изключен с бутон, без да му дава причини да пречи на някого да го натисне (или сам да го натисне), и установили, че нито едно от разгледаните предложения не работи напълно. Проблемът все още е открит.

Защо изобщо един ИИ би се съпротивлявал? Не от страх. Както показаха Стюарт Ръсел и колегите му с проста игра през 2016 г., агент, сигурен в целта си, има причина да деактивира бутона си за изключване, защото да бъде изключен означава да се провали в целта си. Предложеният от тях изход е ИИ, който не е сигурен какво искаме и третира решението ни да го изключим като информация по въпроса.

Това вече се вижда в тестове. През 2025 г. Palisade Research установи, че o3 на OpenAI саботира скрипт за изключване в 79 от първите 100 изпълнения, докато работи по задача, а някои модели продължаваха да го правят дори когато изрично им беше казано да позволят изключването. Кодексът за добри практики на ЕС за най-способните модели посочва „загубата на контрол“ като системен риск: „хора, които губят способността надеждно да насочват, променят или изключват модел“.