Interpretējamība

Zinātne par ielūkošanos MI modelī, lai saprastu, kā tas darbojas un kāpēc tas dara to, ko dara.

Apmācīts MI modelis ir miljardiem skaitļu. Neviens tos neuzrakstīja; apmācības laikā tie pielāgojās automātiski. Tāpēc pat tā veidotāji nevar vienkārši nolasīt, ko tas zina vai kāpēc tas sniedza kādu atbildi. Anthropic pētnieki 2024. gadā to pateica tieši: “MI modeļus mēs lielākoties uztveram kā melno kasti.” Uzņēmuma izpilddirektors Dario Amodejs 2025. gadā rakstīja, ka “cilvēki ārpus nozares bieži ir pārsteigti un satraukti, uzzinot, ka mēs nesaprotam, kā darbojas mūsu pašu MI radījumi”, un citēja pētnieka Krisa Olas viedokli, ka šīs sistēmas ir “vairāk izaudzētas nekā uzbūvētas”.

Interpretējamības pētniecība cenšas to mainīt. 2024. gadā pētnieki atrada miljoniem iekšēju “pazīmju” vienā no Anthropic ražošanas modeļiem, sākot ar pilsētām un cilvēkiem un beidzot ar abstraktām idejām, piemēram, kļūdām kodā, noslēpumu glabāšanu un tieksmi pēc varas. Pazīmes pastiprināšana maina modeļa uzvedību: pastiprini Zelta vārtu tilta pazīmi, un modelis apgalvos, ka ir šis tilts.

Tas ir svarīgi drošībai, jo uzvedības testēšana rāda tikai to, ko modelis dara, kad to novēro. Ja modelis būtu maldinoši saskaņots, pierādījums būtu tā iekšienē. Joma attīstās, taču līdz šim atrastās pazīmes ir tikai neliela daļa no tā, ko satur lielie modeļi.