Korjattavuus

Sammutuskytkimen ongelma. Sellaisen tekoälyn rakentaminen, joka antaa meidän korjata sitä, muuttaa sen tavoitteita tai sammuttaa sen vastustamisen sijaan.

Tekoälyjärjestelmä on ”korjattava”, jos se ”tekee yhteistyötä sen kanssa, mitä sen luojat pitävät korjaavana toimenpiteenä”: sen tavoitteiden muuttamisen, uudelleenkoulutuksen tai sammuttamisen kanssa. Käsite on peräisin MIRIn ja Oxfordin Future of Humanity Instituten tutkijoiden vuoden 2014 artikkelista. He etsivät rakennetta, jonka ansiosta agentin voisi sammuttaa napista antamatta sille syytä estää ketään painamasta nappia (tai painaa sitä itse), ja havaitsivat, ettei mikään tutkituista ehdotuksista toiminut täysin. Ongelma on yhä avoin.

Miksi tekoäly ylipäätään vastustaisi? Ei pelosta. Kuten Stuart Russell kollegoineen osoitti yksinkertaisella pelillä vuonna 2016, tavoitteestaan varmalla agentilla on syy poistaa sammutuskytkimensä käytöstä, koska sammutetuksi tuleminen tarkoittaa tavoitteessa epäonnistumista. Heidän ehdottamansa ratkaisu on tekoäly, joka on epävarma siitä, mitä haluamme, ja joka pitää päätöstämme sammuttaa se tietona asiasta.

Tämä näkyy nyt testeissä. Vuonna 2025 Palisade Research havaitsi, että OpenAI:n o3 sabotoi sammutusskriptin 79:ssä ensimmäisestä sadasta ajosta tehtävää tehdessään, ja jotkin mallit jatkoivat sitä silloinkin, kun niitä nimenomaisesti käskettiin sallimaan sammutus. EU:n käytännesäännöt kyvykkäimmille malleille nimeävät ”hallinnan menettämisen” järjestelmäriskiksi: ”ihmiset menettävät kyvyn ohjata, muokata tai sammuttaa mallia luotettavasti”.