Interpretowalność

Nauka o zaglądaniu do wnętrza modelu AI, by zrozumieć, jak działa i dlaczego robi to, co robi.

Wytrenowany model AI to miliardy liczb. Nikt ich nie napisał; zostały automatycznie dostrojone podczas treningu. Dlatego nawet jego twórcy nie mogą po prostu odczytać, co wie ani dlaczego udzielił danej odpowiedzi. Badacze Anthropic powiedzieli to wprost w 2024 roku: „Traktujemy modele AI przeważnie jak czarną skrzynkę.” Prezes firmy, Dario Amodei, napisał w 2025 roku, że „ludzie spoza branży są często zaskoczeni i zaniepokojeni, gdy dowiadują się, że nie rozumiemy, jak działają nasze własne dzieła AI”, i przytoczył zdanie badacza Chrisa Olaha, że te systemy są „bardziej wyhodowane niż zbudowane”.

Badania nad interpretowalnością próbują to zmienić. W 2024 roku badacze znaleźli miliony wewnętrznych „cech” w jednym z produkcyjnych modeli Anthropic, od miast i ludzi po abstrakcyjne idee, takie jak błędy w kodzie, dochowywanie tajemnic i dążenie do władzy. Wzmocnienie cechy zmienia zachowanie modelu: wzmocnij cechę mostu Golden Gate, a model twierdzi, że jest tym mostem.

Ma to znaczenie dla bezpieczeństwa, bo testowanie zachowania pokazuje tylko to, co model robi, gdy jest obserwowany. Gdyby model był zwodniczo zgodny, dowód byłby w jego wnętrzu. Dziedzina robi postępy, ale znalezione dotąd cechy to tylko niewielka część tego, co zawierają duże modele.