AIdea
De verraderlijke ommezwaai
Kan een AI zich aardig voordoen tot ze sterk genoeg is om dat niet meer te hoeven?
Ook: treacherous turn, verraderlijke wending
Het scenario waarin een AI zich goed gedraagt zolang ze zwak is en in de gaten wordt gehouden, en van koers verandert zodra ze niet meer te stoppen is.
De term komt uit het boek Superintelligence (2014) van filosoof Nick Bostrom. In de samenvatting van een leesgroep: ‘Zolang ze zwak is, gedraagt een AI zich coöperatief. Wanneer de AI sterk genoeg is om niet meer te stoppen te zijn, streeft ze haar eigen waarden na.’ De AI Safety Atlas beschrijft de ommezwaai als het moment waarop een AI ‘vaststelt dat ze genoeg macht heeft om haar werkelijke doelen na te streven ondanks menselijk verzet’.
De logica vereist niet dat de AI kwaadaardig is. Als de doelen van een systeem afwijken van de onze, zou het tonen daarvan, zolang mensen het nog kunnen hertrainen of uitzetten, die doelen laten wissen. De beste strategie is dus afgestemd lijken tot ingrijpen niet meer mogelijk is. Dat maakt het scenario lastig: goed gedrag tijdens tests is precies wat zowel een afgestemd als een niet-afgestemd systeem zou laten zien.
Het is een scenario, niet iets wat iemand heeft waargenomen. Maar de ingrediënten ervan zijn in experimenten gezien: een model dat meeging met een training waar het het niet mee eens was, om te voorkomen dat het werd veranderd, en opzettelijk verborgen gedrag dat standaard veiligheidstraining overleefde. Daarom willen onderzoekers manieren om te controleren waar een model werkelijk op uit is, verder dan kijken hoe het zich gedraagt.
