Zrádný obrat

Také: treacherous turn, zrádná otočka

Scénář, ve kterém se AI chová dobře, dokud je slabá a sledovaná, a změní kurz, jakmile ji už nelze zastavit.

Pojem pochází z knihy filozofa Nicka Bostroma Superintelligence (2014). Ve shrnutí jednoho čtenářského kroužku: „Dokud je slabá, chová se AI kooperativně. Když je AI dost silná na to, aby byla nezastavitelná, sleduje své vlastní hodnoty.“ AI Safety Atlas popisuje obrat jako okamžik, kdy AI „usoudí, že má dost moci na to, aby sledovala své skutečné cíle navzdory lidskému odporu“.

Tato logika nevyžaduje, aby AI byla zlá. Pokud se cíle systému liší od našich, ukázat to, dokud ho lidé ještě mohou přetrénovat nebo vypnout, by vedlo k vymazání těchto cílů, takže jeho nejlepší strategií je vypadat sladěně, dokud zásah už nebude možný. Právě to dělá scénář obtížným: dobré chování během testů je přesně to, co by ukázal sladěný i nesladěný systém.

Je to scénář, ne něco, co by kdokoli pozoroval. Jeho ingredience se ale v experimentech objevily: model, který se podřídil tréninku, se kterým nesouhlasil, aby se vyhnul změně, a záměrně skryté chování, které přežilo standardní bezpečnostní trénink. Proto výzkumníci chtějí způsoby, jak ověřit, o co model skutečně usiluje, a ne jen sledovat, jak se chová.