Interpretabilnost

Znanost o zavirivanju u model UI-ja kako bi se razumjelo kako funkcionira i zašto radi to što radi.

Trenirani model UI-ja čine milijarde brojeva. Nitko ih nije napisao; automatski su se prilagodili tijekom treniranja. Zato čak ni njegovi tvorci ne mogu jednostavno očitati što zna ni zašto je dao neki odgovor. Anthropicovi istraživači rekli su to otvoreno 2024.: „Modele UI-ja uglavnom tretiramo kao crnu kutiju.” Izvršni direktor tvrtke Dario Amodei napisao je 2025. da su „ljudi izvan struke često iznenađeni i uznemireni kad saznaju da ne razumijemo kako funkcioniraju naše vlastite tvorevine UI-ja” i citirao mišljenje istraživača Chrisa Olaha da su ti sustavi „više uzgojeni nego izgrađeni”.

Istraživanje interpretabilnosti pokušava to promijeniti. Istraživači su 2024. pronašli milijune unutarnjih „značajki” u jednom od Anthropicovih produkcijskih modela, od gradova i ljudi do apstraktnih ideja poput pogrešaka u kodu, čuvanja tajni i težnje za moći. Pojačavanje značajke mijenja ponašanje modela: pojačaj značajku mosta Golden Gate i model tvrdi da je on taj most.

To je važno za sigurnost jer testiranje ponašanja pokazuje samo što model radi dok ga promatraju. Kad bi model bio obmanjujuće usklađen, dokaz bi bio u njemu. Područje napreduje, ali dosad pronađene značajke tek su mali dio onoga što veliki modeli sadrže.