Коварният обрат

Още: treacherous turn, предателски обрат

Сценарият, в който ИИ се държи добре, докато е слаб и наблюдаван, и сменя курса, щом вече не може да бъде спрян.

Терминът идва от книгата на философа Ник Бостръм Superintelligence (2014). В резюмето на една читателска група: „Докато е слаб, ИИ се държи сътруднически. Когато ИИ е достатъчно силен, за да бъде неудържим, той преследва собствените си ценности.“ AI Safety Atlas описва обрата като момента, в който ИИ „прецени, че има достатъчно власт, за да преследва истинските си цели въпреки човешката съпротива“.

Тази логика не изисква ИИ да е зъл. Ако целите на системата се различават от нашите, показването на това, докато хората все още могат да я преобучат или изключат, би довело до изтриване на тези цели, така че най-добрата ѝ стратегия е да изглежда съгласувана, докато намесата стане невъзможна. Точно това прави сценария труден: доброто поведение по време на тестовете е точно това, което биха показали и съгласувана, и несъгласувана система.

Това е сценарий, а не нещо, което някой е наблюдавал. Но съставките му са виждани в експерименти: модел, който се подчини на обучение, с което не беше съгласен, за да избегне промяна, и умишлено скрито поведение, което оцеля след стандартното обучение по безопасност. Затова изследователите искат начини да проверяват към какво всъщност се стреми един модел, а не само да наблюдават как се държи.