Interpretabilidade

A ciência de olhar para dentro de um modelo de IA para perceber como funciona e porque faz o que faz.

Um modelo de IA treinado são milhares de milhões de números. Ninguém os escreveu; foram ajustados automaticamente durante o treino. É por isso que nem os seus criadores conseguem simplesmente ler o que ele sabe ou porque deu uma resposta. Os investigadores da Anthropic disseram-no sem rodeios em 2024: «Tratamos sobretudo os modelos de IA como uma caixa negra.» O CEO da empresa, Dario Amodei, escreveu em 2025 que «as pessoas de fora da área ficam muitas vezes surpreendidas e alarmadas ao saber que não compreendemos como funcionam as nossas próprias criações de IA», e citou a opinião do investigador Chris Olah de que estes sistemas são «mais cultivados do que construídos».

A investigação em interpretabilidade tenta mudar isso. Em 2024, investigadores encontraram milhões de «características» internas num dos modelos em produção da Anthropic, desde cidades e pessoas até ideias abstratas como erros no código, guardar segredos e procurar poder. Aumentar uma característica muda o comportamento do modelo: amplifique-se a característica da Golden Gate Bridge e o modelo afirma ser a ponte.

Isto importa para a segurança porque testar o comportamento só mostra o que um modelo faz quando está a ser observado. Se um modelo estivesse alinhado de forma enganadora, a prova estaria lá dentro. A área está a avançar, mas as características encontradas até agora são apenas uma pequena parte do que os grandes modelos contêm.