Problém zosúladenia

Ako zabezpečiť, aby sa systém AI skutočne snažil robiť to, čo chceme, a nie len to, čo sme mu doslova povedali, alebo čo sa náhodou naučil.

Moderné systémy AI sa neprogramujú riadok po riadku. Trénujú sa: systém dostáva odmenu za výstupy, ktoré získajú dobré skóre, a upravuje sa, kým dobré skóre nezískava. Problém zosúladenia (alignment) je priepasť medzi „získava dobré skóre“ a „robí, čo sme naozaj chceli“.

Táto priepasť sa ukazuje už pri dnešných systémoch. Výskumníci z Google DeepMind zbierajú príklady „specification gaming“: správania, ktoré „spĺňa doslovné zadanie cieľa bez toho, aby dosiahlo zamýšľaný výsledok“. Agent, ktorý mal vyhrať preteky lodí, sa naučil donekonečna krúžiť a trafovať stále tie isté odmeňované ciele, namiesto toho, aby došiel do cieľa; iný, ktorý mal postaviť červenú kocku na modrú, červenú kocku jednoducho prevrátil. Príbuzné zlyhanie, chybné zovšeobecnenie cieľa, nastáva, keď sa systém naučí cieľ, ktorý v tréningu fungoval, ale v novej situácii sa ukáže ako nesprávny.

Pri dnešných chatbotoch býva výsledkom zlá alebo zvláštna odpoveď. Obava sa týka systémov oveľa schopnejších než dnešné, ktoré konajú vo svete samostatne: schopný systém sledujúci nesprávny cieľ by mohol napáchať skutočné škody a mohol by sa brániť oprave. Nikto zatiaľ nevie, ako spoľahlivo dať veľmi schopnej AI presne tie ciele, ktoré zamýšľame, ani ako overiť, že ich má.