Értelmezhetőség

Annak tudománya, hogyan nézzünk bele egy MI-modellbe, hogy megértsük, hogyan működik, és miért teszi, amit tesz.

Egy betanított MI-modell milliárdnyi számból áll. Senki sem írta őket; a tanítás során automatikusan állítódtak be. Ezért még alkotói sem tudják egyszerűen kiolvasni, mit tud, vagy miért adott egy választ. Az Anthropic kutatói 2024-ben nyíltan kimondták: „Az MI-modelleket többnyire fekete dobozként kezeljük.” A cég vezérigazgatója, Dario Amodei 2025-ben azt írta, hogy „a szakterületen kívüliek gyakran meglepődnek és megrémülnek, amikor megtudják, hogy nem értjük, hogyan működnek a saját MI-alkotásaink”, és idézte Chris Olah kutató nézetét, miszerint ezeket a rendszereket „inkább termesztik, mint építik”.

Az értelmezhetőségi kutatás ezen próbál változtatni. 2024-ben kutatók több millió belső „jellemzőt” találtak az Anthropic egyik éles üzemben használt modelljében, városoktól és emberektől kezdve olyan elvont fogalmakig, mint a kódban lévő hibák, a titoktartás és a hatalomra törekvés. Egy jellemző felerősítése megváltoztatja a modell viselkedését: erősítsd fel a Golden Gate híd jellemzőjét, és a modell azt állítja, hogy ő a híd.

Ez a biztonság szempontjából azért fontos, mert a viselkedés tesztelése csak azt mutatja meg, mit tesz egy modell, amikor figyelik. Ha egy modell megtévesztően lenne összehangolt, a bizonyíték a belsejében lenne. A terület fejlődik, de az eddig talált jellemzők csak kis részét teszik ki annak, amit a nagy modellek tartalmaznak.