Korigovatelnost

Problém vypínače. Vytvořit AI, která nám dovolí ji opravit, změnit její cíle nebo ji vypnout, místo aby se bránila.

Systém AI je „korigovatelný“, pokud „spolupracuje s tím, co jeho tvůrci považují za nápravný zásah“: se změnou svých cílů, přetrénováním nebo vypnutím. Pojem pochází ze studie z roku 2014 výzkumníků z MIRI a oxfordského Future of Humanity Institute. Hledali návrh, který by umožnil vypnout agenta tlačítkem, aniž by mu dal důvody bránit komukoli ve stisknutí (nebo ho stisknout sám), a zjistili, že žádný ze zkoumaných návrhů plně nefungoval. Problém je stále otevřený.

Proč by se AI vůbec bránila? Ne ze strachu. Jak ukázali Stuart Russell a kolegové v jednoduché hře v roce 2016, agent, který si je jistý svým cílem, má důvod vyřadit svůj vypínač, protože být vypnut znamená v cíli selhat. Jimi navrhované východisko je AI, která si není jistá, co chceme, a naše rozhodnutí ji vypnout bere jako informaci o tom.

Nyní se to ukazuje v testech. V roce 2025 Palisade Research zjistilo, že o3 od OpenAI během práce na úkolu sabotoval vypínací skript v 79 ze 100 počátečních běhů a některé modely v tom pokračovaly, i když dostaly výslovný pokyn vypnutí povolit. Kodex zásad EU pro nejschopnější modely uvádí „ztrátu kontroly“ jako systémové riziko: „lidé ztrácejí schopnost model spolehlivě řídit, upravovat nebo vypnout“.