Interpretuojamumas

Mokslas apie žvilgsnį į DI modelio vidų, siekiant suprasti, kaip jis veikia ir kodėl daro tai, ką daro.

Apmokytas DI modelis – tai milijardai skaičių. Niekas jų neparašė; jie automatiškai susiderino mokymo metu. Todėl net jo kūrėjai negali tiesiog perskaityti, ką jis žino ar kodėl davė tam tikrą atsakymą. Anthropic tyrėjai 2024 m. tai pasakė tiesiai: „Dažniausiai DI modelius traktuojame kaip juodąją dėžę.“ Bendrovės vadovas Dario Amodei 2025 m. rašė, kad „žmonės, nesusiję su šia sritimi, dažnai nustemba ir sunerimsta sužinoję, kad nesuprantame, kaip veikia mūsų pačių DI kūriniai“, ir citavo tyrėjo Chriso Olaho nuomonę, kad šios sistemos „labiau išaugintos nei sukonstruotos“.

Interpretuojamumo tyrimai bando tai pakeisti. 2024 m. tyrėjai viename iš Anthropic gamybinių modelių rado milijonus vidinių „požymių“ – nuo miestų ir žmonių iki abstrakčių idėjų, tokių kaip klaidos kode, paslapčių saugojimas ir galios siekimas. Sustiprinus požymį, pasikeičia modelio elgesys: sustiprink Auksinių Vartų tilto požymį, ir modelis tvirtins esąs tas tiltas.

Tai svarbu saugumui, nes elgesio bandymai parodo tik tai, ką modelis daro, kai yra stebimas. Jei modelis būtų apgaulingai suderintas, įrodymas būtų jo viduje. Sritis daro pažangą, tačiau iki šiol rasti požymiai yra tik maža dalis to, ką turi dideli modeliai.