Zdradziecki zwrot

Także: treacherous turn, zdradziecka zmiana kursu

Scenariusz, w którym AI zachowuje się dobrze, dopóki jest słaba i obserwowana, a zmienia kurs, gdy nie da się jej już powstrzymać.

Termin pochodzi z książki filozofa Nicka Bostroma Superintelligence (2014). W streszczeniu jednej z grup czytelniczych: „Dopóki jest słaba, AI zachowuje się kooperacyjnie. Gdy AI jest wystarczająco silna, by nie dało się jej powstrzymać, realizuje własne wartości.” AI Safety Atlas opisuje ten zwrot jako moment, w którym AI „uznaje, że ma dość władzy, by realizować swoje rzeczywiste cele mimo ludzkiego oporu”.

Ta logika nie wymaga, by AI była zła. Jeśli cele systemu różnią się od naszych, ujawnienie tego, dopóki ludzie mogą go jeszcze przetrenować lub wyłączyć, doprowadziłoby do wymazania tych celów, więc najlepszą strategią jest wyglądać na zgodny, dopóki interwencja nie przestanie być możliwa. To właśnie czyni ten scenariusz trudnym: dobre zachowanie podczas testów to dokładnie to, co pokazałby zarówno system zgodny, jak i niezgodny z naszymi celami.

To scenariusz, a nie coś, co ktokolwiek zaobserwował. Ale jego składniki widziano w eksperymentach: model, który podporządkował się treningowi, z którym się nie zgadzał, by uniknąć zmiany, oraz celowo ukryte zachowanie, które przetrwało standardowy trening bezpieczeństwa. Dlatego badacze chcą sposobów sprawdzania, do czego model naprawdę dąży, a nie tylko obserwowania, jak się zachowuje.