Данъкът за съгласуване

Още: alignment tax, данък за безопасност, safety tax

Допълнителната цена в пари, време или производителност, за да бъде една система с ИИ безопасна, а не само способна.

Данъкът за съгласуване е „цената, която плащаме, когато настояваме да внедряваме само съгласуван ИИ“, както го формулира изследователят на безопасността на ИИ Пол Кристиано в лекция през 2020 г. Това е всичко, което безопасността струва в сравнение с най-бързия и най-евтин път към способна система: допълнителни изследвания и тестове, отложено пускане или модел, който се справя малко по-зле с някои задачи.

Терминът се появява на практика. Когато OpenAI обучи InstructGPT с човешка обратна връзка (RLHF) през 2022 г., моделът стана по-полезен и по-правдив, но се представи по-слабо на няколко стандартни теста. Статията нарече това „пример за данък за съгласуване“ и намери начин да го намали, като смеси част от първоначалното обучение. Авторите обясниха и защо това е важно: висок данък за съгласуване „стимулира използването на модели, които не са съгласувани, но са по-способни“.

Това е истинската тревога. В надпревара между компании този, който плаща данъка, рискува да изостане от този, който не го плаща. Кристиано описа два отговора: да се намали данъкът чрез изследвания, така че безопасният ИИ да е и най-добрият ИИ, или да се гарантира, че всички го плащат, чрез споразумения и правила, така че безопасността да не е конкурентно неизгодна. Регулации като Законодателния акт на ЕС за ИИ (AI Act) са опит за второто.