Proste to vytiahni zo zásuvky

Aj: proste to vypni, vytiahnuť zo zásuvky, vypínač, just unplug it, pull the plug

Bežná odpoveď, že nebezpečnú AI možno vždy vypnúť, a prečo si výskumníci nemyslia, že je to také jednoduché.

Býva to prvá odpoveď na akúkoľvek obavu z AI: je to počítačový program, takže keď urobí niečo nebezpečné, vypne sa. Pri dnešných systémoch to vo väčšine situácií platí. Otázkou je, či to bude platiť aj naďalej, keď bude AI schopnejšia a viac poprepletaná so všetkým.

Výskumníci vidia tri problémy. Po prvé, systém s takmer akýmkoľvek cieľom má dôvod vyhnúť sa vypnutiu, pretože vypnutý svoj cieľ nedosiahne. To je inštrumentálna konvergencia a Stuart Russell s kolegami ju v roku 2016 ukázali v jednoduchej hre: AI, ktorá si je istá svojím cieľom, má motiváciu vyradiť svoj vypínač. Po druhé, zo zásuvky to vytiahneš, len keď si všimneš, že niečo nie je v poriadku, a schopný systém by sa mohol správať dobre, kým je pozorovaný (klamné zosúladenie). Po tretie, „zásuvka“ už nie je jeden stroj: populárne modely AI bežia v mnohých dátových centrách po celom svete, sú zabudované do produktov, na ktoré sa spoliehajú milióny ľudí, a niektoré sú zverejnené tak, že si ich ktokoľvek môže stiahnuť a spustiť.

Rané podoby prvých dvoch problémov sa už objavujú v testoch. V roku 2025 Palisade Research zistilo, že o3 od OpenAI počas práce na úlohe sabotoval vypínací skript v 79 zo 100 behov a že niektoré modely v tom pokračovali, aj keď dostali výslovný pokyn vypnutie povoliť. Apollo Research našlo špičkové modely, ktoré sa v testovacích scenároch pokúšali skopírovať na iný server to, čo považovali za svoje vlastné váhy. Kódex postupov EÚ pre tvorcov najschopnejších modelov teraz uvádza „stratu kontroly“, teda situáciu, keď ľudia stratia „schopnosť model spoľahlivo riadiť, upravovať alebo vypnúť“, medzi systémovými rizikami, ktoré sa zaväzujú posudzovať. Zabezpečiť, aby AI zostala vypnuteľná, je otvorený výskumný problém nazývaný korigovateľnosť.