Fortolkelighed

Videnskaben om at kigge ind i en AI-model for at forstå, hvordan den virker, og hvorfor den gør, som den gør.

En trænet AI-model består af milliarder af tal. Ingen har skrevet dem; de blev justeret automatisk under træningen. Derfor kan selv dens skabere ikke bare aflæse, hvad den ved, eller hvorfor den gav et svar. Anthropics forskere sagde det ligeud i 2024: »Vi behandler for det meste AI-modeller som en sort boks.« Virksomhedens topchef, Dario Amodei, skrev i 2025, at »folk uden for feltet ofte bliver overraskede og foruroligede over at høre, at vi ikke forstår, hvordan vores egne AI-skabninger virker«, og citerede forskeren Chris Olahs synspunkt om, at disse systemer »dyrkes mere, end de bygges«.

Forskning i fortolkelighed prøver at ændre det. I 2024 fandt forskere millioner af indre »features« i en af Anthropics produktionsmodeller, fra byer og personer til abstrakte idéer som fejl i kode, at holde på hemmeligheder og magtsøgning. Skruer man op for en feature, ændrer modellens adfærd sig: Forstærk featuren for Golden Gate Bridge, og modellen påstår at være broen.

Det betyder noget for sikkerheden, fordi adfærdstest kun viser, hvad en model gør, når den bliver iagttaget. Hvis en model var vildledende afstemt, ville beviset ligge indeni. Feltet gør fremskridt, men de features, man har fundet indtil nu, er kun en lille del af det, store modeller indeholder.