Problem usklajenosti

Kako zagotoviti, da sistem UI dejansko poskuša narediti to, kar želimo, in ne le tega, kar smo mu dobesedno rekli ali kar se je po naključju naučil.

Sodobni sistemi UI se ne programirajo vrstico za vrstico. Učijo se: sistem dobi nagrado za izhode, ki dosežejo dober rezultat, in se prilagaja, dokler ne dosega dobrega rezultata. Problem usklajenosti (alignment) je vrzel med »dosega dober rezultat« in »počne to, kar smo v resnici želeli«.

Ta vrzel se kaže že pri današnjih sistemih. Raziskovalci pri Google DeepMind zbirajo primere »specification gaming«: vedenja, ki »izpolni dobesedno opredelitev cilja, ne da bi doseglo želeni izid«. Agent, ki naj bi zmagal na čolnarski dirki, se je naučil v nedogled krožiti in zadevati iste nagradne cilje, namesto da bi prišel do cilja; drugi, ki naj bi rdečo kocko postavil na modro, je rdečo kocko preprosto obrnil. Sorodna napaka, napačno posploševanje cilja, se zgodi, ko se sistem nauči cilja, ki je deloval pri učenju, v novi situaciji pa se izkaže za napačnega.

Pri današnjih klepetalnikih je izid običajno napačen ali čuden odgovor. Skrb se nanaša na sisteme, ki so veliko zmogljivejši od današnjih in samostojno delujejo v svetu: zmogljiv sistem, ki zasleduje napačen cilj, bi lahko povzročil resnično škodo in bi se morda upiral popravkom. Nihče še ne ve, kako zelo zmogljivi UI zanesljivo dati natanko tiste cilje, ki jih želimo, ali kako preveriti, da jih ima.