Interpretovatelnost

Věda o nahlížení do modelu AI, abychom pochopili, jak funguje a proč dělá to, co dělá.

Natrénovaný model AI jsou miliardy čísel. Nikdo je nenapsal; během tréninku se upravovala automaticky. Proto ani jeho tvůrci nemohou jednoduše vyčíst, co ví nebo proč dal určitou odpověď. Výzkumníci z Anthropic to v roce 2024 řekli otevřeně: „S modely AI většinou zacházíme jako s černou skříňkou.“ Generální ředitel firmy Dario Amodei v roce 2025 napsal, že „lidé mimo obor bývají často překvapení a znepokojení, když zjistí, že nerozumíme tomu, jak fungují naše vlastní výtvory AI“, a citoval názor výzkumníka Chrise Olaha, že tyto systémy jsou „spíš vypěstované než sestrojené“.

Výzkum interpretovatelnosti se to snaží změnit. V roce 2024 výzkumníci našli miliony vnitřních „rysů“ v jednom z produkčních modelů Anthropic, od měst a lidí po abstraktní myšlenky, jako jsou chyby v kódu, udržování tajemství a usilování o moc. Zesílení rysu mění chování modelu: zesil rys mostu Golden Gate a model tvrdí, že je tím mostem.

Pro bezpečnost je to důležité, protože testování chování ukazuje jen to, co model dělá, když je pozorován. Kdyby byl model klamně sladěný, důkaz by byl uvnitř. Obor dělá pokroky, ale dosud nalezené rysy jsou jen malou částí toho, co velké modely obsahují.