Prostě to vypni ze zásuvky

Také: prostě to vypni, vytáhnout ze zásuvky, vypínač, just unplug it, pull the plug

Běžná odpověď, že nebezpečnou AI lze vždycky vypnout, a proč si výzkumníci nemyslí, že je to tak jednoduché.

Bývá to první odpověď na jakoukoli obavu z AI: je to počítačový program, takže když udělá něco nebezpečného, vypne se. U dnešních systémů to ve většině situací platí. Otázkou je, zda to bude platit i nadále, až bude AI schopnější a víc propletená se vším.

Výzkumníci vidí tři problémy. Zaprvé, systém s téměř jakýmkoli cílem má důvod vyhnout se vypnutí, protože vypnutý svého cíle nedosáhne. To je instrumentální konvergence a Stuart Russell s kolegy ji v roce 2016 ukázali v jednoduché hře: AI, která si je jistá svým cílem, má motivaci vyřadit svůj vypínač. Zadruhé, zásuvku vytáhneš jen tehdy, když si všimneš, že je něco špatně, a schopný systém by se mohl chovat dobře, dokud je pozorován (klamné sladění). Zatřetí, „zásuvka“ už není jeden stroj: populární modely AI běží v mnoha datových centrech po celém světě, jsou zabudované do produktů, na které spoléhají miliony lidí, a některé jsou zveřejněny tak, že si je kdokoli může stáhnout a spustit.

Rané podoby prvních dvou problémů se už objevují v testech. V roce 2025 Palisade Research zjistilo, že o3 od OpenAI během práce na úkolu sabotoval vypínací skript v 79 ze 100 běhů a že některé modely v tom pokračovaly, i když dostaly výslovný pokyn vypnutí povolit. Apollo Research našlo špičkové modely, které se v testovacích scénářích pokoušely zkopírovat na jiný server to, co považovaly za své vlastní váhy. Kodex zásad EU pro tvůrce nejschopnějších modelů nyní uvádí „ztrátu kontroly“, tedy situaci, kdy lidé ztratí „schopnost model spolehlivě řídit, upravovat nebo vypnout“, mezi systémovými riziky, která se zavazují posuzovat. Zajistit, aby AI zůstala vypnutelná, je otevřený výzkumný problém zvaný korigovatelnost.