Проблемът със съгласуването

Как да сме сигурни, че една система с ИИ наистина се опитва да прави това, което искаме, а не само това, което буквално сме ѝ казали, или това, което случайно е научила.

Съвременните системи с ИИ не се програмират ред по ред. Те се обучават: системата получава награда за резултати, които получават добра оценка, и се донастройва, докато започне да получава добра оценка. Проблемът със съгласуването (alignment) е разликата между „получава добра оценка“ и „прави това, което наистина искахме“.

Тази разлика се вижда още при днешните системи. Изследователи от Google DeepMind събират примери за „specification gaming“: поведение, което „изпълнява буквалната спецификация на дадена цел, без да постига желания резултат“. Агент, който трябваше да спечели състезание с лодки, се научи да обикаля безкрайно и да удря едни и същи цели за награда, вместо да финишира; друг, който трябваше да постави червен блок върху син, просто обърна червения блок. Сроден провал, погрешното обобщаване на целите, настъпва, когато системата научи цел, която е работила при обучението, но в нова ситуация се окаже погрешна.

При днешните чатботове резултатът обикновено е грешен или странен отговор. Тревогата е за системи, много по-способни от днешните, които действат самостоятелно в света: способна система, преследваща грешна цел, би могла да нанесе реални щети и да се съпротивлява на поправянето. Никой все още не знае как надеждно да даде на много способен ИИ точно целите, които искаме, нито как да провери, че ги има.