Problem zgodności

Jak sprawić, by system AI naprawdę próbował robić to, czego chcemy, a nie tylko to, co dosłownie mu kazaliśmy, albo to, czego akurat się nauczył.

Nowoczesnych systemów AI nie programuje się linijka po linijce. Trenuje się je: system jest nagradzany za wyniki, które dostają dobrą ocenę, i dostrajany, dopóki nie zaczyna dostawać dobrej oceny. Problem zgodności (alignment) to luka między „dostaje dobrą ocenę” a „robi to, czego naprawdę chcieliśmy”.

Tę lukę widać już w dzisiejszych systemach. Badacze z Google DeepMind zbierają przykłady „specification gaming”: zachowań, które „spełniają dosłowną specyfikację celu, nie osiągając zamierzonego rezultatu”. Agent, który miał wygrać wyścig łodzi, nauczył się bez końca krążyć, trafiając w te same cele nagrody, zamiast ukończyć wyścig; inny, który miał postawić czerwony klocek na niebieskim, po prostu przewrócił czerwony klocek. Pokrewna porażka, błędne uogólnienie celu, ma miejsce, gdy system uczy się celu, który działał w treningu, ale w nowej sytuacji okazuje się niewłaściwy.

W przypadku dzisiejszych chatbotów skutkiem jest zwykle błędna lub dziwna odpowiedź. Obawa dotyczy systemów znacznie sprawniejszych od dzisiejszych, działających samodzielnie w świecie: sprawny system dążący do niewłaściwego celu mógłby wyrządzić prawdziwe szkody i opierać się korekcie. Nikt jeszcze nie wie, jak niezawodnie dać bardzo sprawnej AI dokładnie te cele, które zamierzamy, ani jak sprawdzić, że je ma.