Het afstemmingsprobleem

Hoe je ervoor zorgt dat een AI-systeem echt probeert te doen wat we willen, en niet alleen wat we het letterlijk hebben gezegd of wat het toevallig heeft geleerd.

Moderne AI-systemen worden niet regel voor regel geprogrammeerd. Ze worden getraind: een systeem wordt beloond voor uitvoer die goed scoort, en wordt bijgesteld tot het goed scoort. Het afstemmingsprobleem is de kloof tussen ‘scoort goed’ en ‘doet wat we eigenlijk wilden’.

Die kloof is al zichtbaar in de systemen van nu. Onderzoekers bij Google DeepMind verzamelen voorbeelden van ‘specification gaming’: gedrag dat ‘voldoet aan de letterlijke specificatie van een doel zonder het beoogde resultaat te bereiken’. Een agent die een bootrace moest winnen, leerde eindeloos rondjes te varen en steeds dezelfde beloningsdoelen te raken in plaats van te finishen; een die een rood blok op een blauw moest stapelen, draaide het rode blok gewoon om. Een verwante fout, doel-misgeneralisatie, is wanneer een systeem een doel leert dat in de training werkte maar in een nieuwe situatie het verkeerde blijkt.

Bij de chatbots van nu is het resultaat meestal een fout of vreemd antwoord. De zorg gaat over systemen die veel capabeler zijn dan die van nu en zelfstandig in de wereld handelen: een capabel systeem dat het verkeerde doel najaagt, zou echte schade kunnen aanrichten en zich mogelijk verzetten tegen correctie. Niemand weet nog hoe je een zeer capabele AI betrouwbaar precies de doelen geeft die we bedoelen, of hoe je controleert dat ze die heeft.