Interpreteerbaarheid

De wetenschap van in een AI-model kijken om te begrijpen hoe het werkt en waarom het doet wat het doet.

Een getraind AI-model bestaat uit miljarden getallen. Niemand heeft ze geschreven; ze werden tijdens de training automatisch bijgesteld. Daarom kunnen zelfs de makers niet zomaar aflezen wat het weet of waarom het een antwoord gaf. De onderzoekers van Anthropic zeiden het in 2024 ronduit: ‘We behandelen AI-modellen grotendeels als een black box.’ De topman van het bedrijf, Dario Amodei, schreef in 2025 dat ‘mensen buiten het vakgebied vaak verrast en verontrust zijn als ze horen dat we niet begrijpen hoe onze eigen AI-creaties werken’, en citeerde de opvatting van onderzoeker Chris Olah dat deze systemen ‘eerder gekweekt dan gebouwd’ worden.

Interpreteerbaarheidsonderzoek probeert dat te veranderen. In 2024 vonden onderzoekers miljoenen interne ‘features’ in een van de productiemodellen van Anthropic, van steden en mensen tot abstracte ideeën zoals bugs in code, geheimen bewaren en machtsstreven. Een feature opschroeven verandert het gedrag van het model: versterk de feature voor de Golden Gate Bridge, en het model beweert de brug te zijn.

Voor veiligheid doet het ertoe omdat gedragstests alleen laten zien wat een model doet terwijl er wordt gekeken. Als een model misleidend afgestemd was, zou het bewijs binnenin zitten. Het vakgebied boekt vooruitgang, maar de features die tot nu toe zijn gevonden, zijn maar een klein deel van wat grote modellen bevatten.