Razložljivost

Znanost o vpogledu v notranjost modela UI, da bi razumeli, kako deluje in zakaj počne, kar počne.

Naučen model UI so milijarde števil. Nihče jih ni napisal; med učenjem so se prilagodila samodejno. Zato tudi njegovi ustvarjalci ne morejo preprosto prebrati, kaj ve ali zakaj je dal določen odgovor. Raziskovalci podjetja Anthropic so leta 2024 odkrito zapisali: »Modele UI večinoma obravnavamo kot črno škatlo.« Izvršni direktor podjetja Dario Amodei je leta 2025 zapisal, da so »ljudje zunaj stroke pogosto presenečeni in zaskrbljeni, ko izvejo, da ne razumemo, kako delujejo naše lastne stvaritve UI«, in navedel mnenje raziskovalca Chrisa Olaha, da so ti sistemi »bolj vzgojeni kot zgrajeni«.

Raziskave razložljivosti to poskušajo spremeniti. Leta 2024 so raziskovalci v enem od Anthropicovih produkcijskih modelov našli milijone notranjih »značilnosti«, od mest in ljudi do abstraktnih zamisli, kot so napake v kodi, ohranjanje skrivnosti in hlepenje po moči. Okrepitev značilnosti spremeni vedenje modela: okrepi značilnost mostu Golden Gate in model trdi, da je ta most.

Za varnost je to pomembno, ker testiranje vedenja pokaže le, kaj model počne, ko ga opazujejo. Če bi bil model zavajajoče usklajen, bi bil dokaz v njegovi notranjosti. Področje napreduje, a doslej najdene značilnosti so le majhen del tega, kar vsebujejo veliki modeli.