Korigovateľnosť

Problém vypínača. Vytvoriť AI, ktorá nám dovolí opraviť ju, zmeniť jej ciele alebo ju vypnúť, namiesto toho, aby sa bránila.

Systém AI je „korigovateľný“, ak „spolupracuje s tým, čo jeho tvorcovia považujú za nápravný zásah“: so zmenou svojich cieľov, pretrénovaním alebo vypnutím. Pojem pochádza zo štúdie z roku 2014 výskumníkov z MIRI a oxfordského Future of Humanity Institute. Hľadali návrh, ktorý by umožnil vypnúť agenta tlačidlom bez toho, aby mu dal dôvody brániť komukoľvek v stlačení (alebo ho stlačiť sám), a zistili, že žiadny zo skúmaných návrhov plne nefungoval. Problém je stále otvorený.

Prečo by sa AI vôbec bránila? Nie zo strachu. Ako ukázali Stuart Russell a kolegovia v jednoduchej hre v roku 2016, agent, ktorý si je istý svojím cieľom, má dôvod vyradiť svoj vypínač, pretože byť vypnutý znamená v cieli zlyhať. Nimi navrhované východisko je AI, ktorá si nie je istá, čo chceme, a naše rozhodnutie vypnúť ju berie ako informáciu o tom.

Teraz sa to ukazuje v testoch. V roku 2025 Palisade Research zistilo, že o3 od OpenAI počas práce na úlohe sabotoval vypínací skript v 79 zo 100 počiatočných behov a niektoré modely v tom pokračovali, aj keď dostali výslovný pokyn vypnutie povoliť. Kódex postupov EÚ pre najschopnejšie modely uvádza „stratu kontroly“ ako systémové riziko: „ľudia strácajú schopnosť model spoľahlivo riadiť, upravovať alebo vypnúť“.