Tolkningsbarhet

Vetenskapen om att titta in i en AI-modell för att förstå hur den fungerar och varför den gör som den gör.

En tränad AI-modell består av miljarder tal. Ingen har skrivit dem; de justerades automatiskt under träningen. Därför kan inte ens dess skapare bara läsa av vad den vet eller varför den gav ett svar. Anthropics forskare sa det rakt ut 2024: ”Vi behandlar för det mesta AI-modeller som en svart låda.” Företagets vd, Dario Amodei, skrev 2025 att ”folk utanför fältet ofta blir överraskade och oroade när de får veta att vi inte förstår hur våra egna AI-skapelser fungerar”, och citerade forskaren Chris Olahs syn att systemen ”odlas snarare än byggs”.

Forskning om tolkningsbarhet försöker ändra på det. 2024 hittade forskare miljontals inre ”egenskaper” i en av Anthropics produktionsmodeller, från städer och personer till abstrakta idéer som buggar i kod, att hålla hemligheter och maktsträvan. Att skruva upp en egenskap ändrar modellens beteende: förstärk egenskapen för Golden Gate-bron, och modellen påstår att den är bron.

Det spelar roll för säkerheten eftersom beteendetester bara visar vad en modell gör när den blir iakttagen. Om en modell var vilseledande anpassad skulle beviset finnas inuti den. Fältet gör framsteg, men de egenskaper som hittats hittills är bara en liten del av vad stora modeller innehåller.