Problém sladění

Jak zajistit, aby se systém AI skutečně snažil dělat to, co chceme, a ne jen to, co jsme mu doslova řekli, nebo co se náhodou naučil.

Moderní systémy AI se neprogramují řádek po řádku. Trénují se: systém dostává odměnu za výstupy, které získají dobré skóre, a upravuje se, dokud dobré skóre nezískává. Problém sladění (alignment) je propast mezi „získává dobré skóre“ a „dělá, co jsme opravdu chtěli“.

Tato propast se ukazuje už u dnešních systémů. Výzkumníci z Google DeepMind sbírají příklady „specification gaming“: chování, které „splňuje doslovné zadání cíle, aniž by dosáhlo zamýšleného výsledku“. Agent, který měl vyhrát závod lodí, se naučil donekonečna kroužit a trefovat stále stejné odměňované cíle, místo aby dojel do cíle; jiný, který měl postavit červenou kostku na modrou, červenou kostku prostě převrátil. Příbuzné selhání, chybné zobecnění cíle, nastává, když se systém naučí cíl, který v tréninku fungoval, ale v nové situaci se ukáže jako nesprávný.

U dnešních chatbotů bývá výsledkem špatná nebo podivná odpověď. Obava se týká systémů mnohem schopnějších než dnešní, které jednají ve světě samostatně: schopný systém sledující nesprávný cíl by mohl napáchat skutečné škody a mohl by se bránit opravě. Nikdo zatím neví, jak spolehlivě dát velmi schopné AI přesně ty cíle, které zamýšlíme, ani jak ověřit, že je má.