Taxa de aliniere

Și: alignment tax, taxa de siguranță, safety tax

Costul suplimentar, în bani, timp sau performanță, de a face un sistem IA sigur, nu doar capabil.

Taxa de aliniere este „costul suportat atunci când insistăm să implementăm doar IA aliniată”, cum a spus cercetătorul în siguranța IA Paul Christiano într-o prelegere din 2020. Este tot ce costă siguranța în comparație cu drumul cel mai rapid și mai ieftin spre un sistem capabil: cercetare și teste în plus, o lansare amânată sau un model puțin mai slab la unele sarcini.

Termenul apare în practică. Când OpenAI a antrenat InstructGPT cu feedback uman (RLHF) în 2022, modelul a devenit mai util și mai sincer, dar a avut rezultate mai slabe la mai multe teste standard. Lucrarea a numit asta „un exemplu de taxă de aliniere” și a găsit o cale de a o reduce, amestecând o parte din antrenamentul inițial. Autorii au explicat și de ce contează: o taxă de aliniere mare „stimulează folosirea unor modele care nu sunt aliniate, dar sunt mai capabile”.

Aceasta este adevărata îngrijorare. Într-o cursă între companii, cine plătește taxa riscă să rămână în urma celui care nu o plătește. Christiano a descris două răspunsuri: reducerea taxei prin cercetare, astfel încât IA sigură să fie și cea mai bună IA, sau asigurarea că toată lumea o plătește, prin acorduri și reguli, astfel încât siguranța să nu fie un dezavantaj competitiv. Reglementări precum Regulamentul UE privind IA (AI Act) sunt o încercare a celei de-a doua variante.