Problema alinierii

Cum ne asigurăm că un sistem IA încearcă cu adevărat să facă ce vrem, nu doar ce i-am spus literal sau ce s-a întâmplat să învețe.

Sistemele IA moderne nu sunt programate linie cu linie. Sunt antrenate: un sistem este recompensat pentru rezultatele care obțin un scor bun și ajustat până când obține un scor bun. Problema alinierii este distanța dintre „obține un scor bun” și „face ce am vrut de fapt”.

Această distanță se vede deja la sistemele de azi. Cercetătorii de la Google DeepMind adună exemple de „specification gaming”: comportamente care „satisfac specificația literală a unui obiectiv fără să atingă rezultatul dorit”. Un agent care trebuia să câștige o cursă de bărci a învățat să se învârtă la nesfârșit lovind aceleași ținte de recompensă în loc să termine cursa; altul, care trebuia să pună un cub roșu pe unul albastru, pur și simplu a răsturnat cubul roșu. O eroare înrudită, generalizarea greșită a obiectivelor, apare când un sistem învață un obiectiv care a funcționat la antrenament, dar se dovedește greșit într-o situație nouă.

La chatboturile de azi, rezultatul este de obicei un răspuns greșit sau ciudat. Îngrijorarea privește sisteme mult mai capabile decât cele de azi, care acționează singure în lume: un sistem capabil care urmărește obiectivul greșit ar putea face rău real și ar putea rezista corectării. Nimeni nu știe încă cum să dea în mod fiabil unei IA foarte capabile exact obiectivele pe care le intenționăm sau cum să verifice că le are.