Interpretovateľnosť

Veda o nazeraní do modelu AI, aby sme pochopili, ako funguje a prečo robí to, čo robí.

Natrénovaný model AI sú miliardy čísel. Nikto ich nenapísal; počas tréningu sa upravovali automaticky. Preto ani jeho tvorcovia nemôžu jednoducho vyčítať, čo vie alebo prečo dal určitú odpoveď. Výskumníci z Anthropic to v roku 2024 povedali otvorene: „S modelmi AI väčšinou zaobchádzame ako s čiernou skrinkou.“ Generálny riaditeľ firmy Dario Amodei v roku 2025 napísal, že „ľudia mimo odboru bývajú často prekvapení a znepokojení, keď zistia, že nerozumieme tomu, ako fungujú naše vlastné výtvory AI“, a citoval názor výskumníka Chrisa Olaha, že tieto systémy sú „skôr vypestované než skonštruované“.

Výskum interpretovateľnosti sa to snaží zmeniť. V roku 2024 výskumníci našli milióny vnútorných „čŕt“ v jednom z produkčných modelov Anthropic, od miest a ľudí po abstraktné myšlienky, ako sú chyby v kóde, udržiavanie tajomstiev a usilovanie o moc. Zosilnenie črty mení správanie modelu: zosilni črtu mosta Golden Gate a model tvrdí, že je tým mostom.

Pre bezpečnosť je to dôležité, pretože testovanie správania ukazuje len to, čo model robí, keď je pozorovaný. Keby bol model klamne zosúladený, dôkaz by bol vnútri. Odbor robí pokroky, ale doteraz nájdené črty sú len malou časťou toho, čo veľké modely obsahujú.