Интерпретируемост

Науката за надникване в модел на ИИ, за да се разбере как работи и защо прави това, което прави.

Един обучен модел на ИИ представлява милиарди числа. Никой не ги е написал; те са били нагласени автоматично по време на обучението. Затова дори създателите му не могат просто да прочетат какво знае или защо е дал определен отговор. Изследователите на Anthropic го казаха направо през 2024 г.: „Най-често третираме моделите на ИИ като черна кутия.“ Изпълнителният директор на компанията Дарио Амодей написа през 2025 г., че „хората извън областта често са изненадани и разтревожени, когато научат, че не разбираме как работят собствените ни творения на ИИ“, и цитира мнението на изследователя Крис Ола, че тези системи са „по-скоро отгледани, отколкото построени“.

Изследванията по интерпретируемост се опитват да променят това. През 2024 г. изследователи откриха милиони вътрешни „признаци“ в един от производствените модели на Anthropic, от градове и хора до абстрактни идеи като грешки в кода, пазене на тайни и стремеж към власт. Усилването на признак променя поведението на модела: усили признака за моста Голдън Гейт и моделът твърди, че е мостът.

Това е важно за безопасността, защото тестването на поведението показва само какво прави един модел, докато го наблюдават. Ако един модел беше измамно съгласуван, доказателството щеше да е вътре в него. Областта напредва, но откритите досега признаци са само малка част от това, което съдържат големите модели.