Saskaņošanas problēma

Kā panākt, lai MI sistēma patiešām cenšas darīt to, ko mēs vēlamies, nevis tikai to, ko mēs tai burtiski teicām vai ko tā nejauši iemācījās.

Mūsdienu MI sistēmas netiek programmētas rindu pa rindai. Tās tiek apmācītas: sistēma tiek atalgota par izvadēm, kas iegūst labu vērtējumu, un tiek pieskaņota, līdz iegūst labu vērtējumu. Saskaņošanas problēma (alignment) ir plaisa starp “iegūst labu vērtējumu” un “dara to, ko mēs patiesībā gribējām”.

Šī plaisa redzama jau mūsdienu sistēmās. Google DeepMind pētnieki vāc “specification gaming” piemērus: uzvedību, kas “izpilda mērķa burtisko specifikāciju, nesasniedzot paredzēto rezultātu”. Aģents, kuram bija jāuzvar laivu sacīkstēs, iemācījās bezgalīgi riņķot un trāpīt tiem pašiem atlīdzības mērķiem, nevis finišēt; cits, kuram bija jāuzliek sarkanais klucītis uz zilā, vienkārši apgrieza sarkano klucīti. Līdzīga kļūme, mērķa kļūdaina vispārināšana, notiek, ja sistēma iemācās mērķi, kas darbojās apmācībā, bet jaunā situācijā izrādās nepareizs.

Mūsdienu tērzēšanas robotiem rezultāts parasti ir nepareiza vai dīvaina atbilde. Bažas attiecas uz sistēmām, kas ir daudz spējīgākas par mūsdienu sistēmām un darbojas pasaulē patstāvīgi: spējīga sistēma, kas tiecas pēc nepareiza mērķa, varētu nodarīt reālu kaitējumu un varētu pretoties labošanai. Neviens vēl nezina, kā ļoti spējīgam MI uzticami dot tieši tos mērķus, ko domājam, vai kā pārbaudīt, ka tam tie ir.