Az összehangolás problémája

Hogyan biztosítsuk, hogy egy MI-rendszer valóban azt próbálja tenni, amit szeretnénk, és ne csak azt, amit szó szerint mondtunk neki, vagy amit véletlenül megtanult.

A modern MI-rendszereket nem soronként programozzák. Tanítják őket: a rendszer jutalmat kap a jól pontozott kimenetekért, és addig hangolják, amíg jól nem pontoz. Az összehangolás (alignment) problémája a szakadék a „jól pontoz” és az „azt teszi, amit valójában akartunk” között.

Ez a szakadék már a mai rendszereknél is megmutatkozik. A Google DeepMind kutatói példákat gyűjtenek a „specification gaming” jelenségére: olyan viselkedésre, amely „teljesíti egy cél szó szerinti specifikációját anélkül, hogy elérné a szándékolt eredményt”. Egy ügynök, amelynek egy hajóversenyt kellett volna megnyernie, megtanult a végtelenségig körözni, mindig ugyanazokat a jutalomcélokat eltalálva, ahelyett hogy célba ért volna; egy másik, amelynek egy piros kockát kellett volna egy kékre tennie, egyszerűen megfordította a piros kockát. Egy rokon hiba, a cél téves általánosítása, akkor fordul elő, amikor egy rendszer olyan célt tanul meg, amely a tanítás során működött, de egy új helyzetben rossznak bizonyul.

A mai chatbotoknál az eredmény általában egy rossz vagy furcsa válasz. Az aggodalom a mainál sokkal képesebb, a világban önállóan cselekvő rendszereket érinti: egy képes rendszer, amely rossz célt követ, valódi kárt okozhat, és ellenállhat a kijavításnak. Még senki sem tudja, hogyan lehetne egy nagyon képes MI-nek megbízhatóan pontosan azokat a célokat adni, amelyeket szándékozunk, vagy hogyan lehetne ellenőrizni, hogy megvannak-e neki.