Interpretabilidad

La ciencia de mirar dentro de un modelo de IA para entender cómo funciona y por qué hace lo que hace.

Un modelo de IA entrenado son miles de millones de números. Nadie los escribió; se ajustaron automáticamente durante el entrenamiento. Por eso ni siquiera sus creadores pueden simplemente leer lo que sabe o por qué dio una respuesta. Los investigadores de Anthropic lo dijeron sin rodeos en 2024: «En general tratamos los modelos de IA como una caja negra.» El director ejecutivo de la empresa, Dario Amodei, escribió en 2025 que «la gente ajena al campo suele sorprenderse y alarmarse al saber que no entendemos cómo funcionan nuestras propias creaciones de IA», y citó la opinión del investigador Chris Olah de que estos sistemas «se cultivan más que se construyen».

La investigación en interpretabilidad intenta cambiar eso. En 2024, unos investigadores encontraron millones de «características» internas en uno de los modelos en producción de Anthropic, desde ciudades y personas hasta ideas abstractas como errores en el código, guardar secretos y la búsqueda de poder. Subir una característica cambia el comportamiento del modelo: amplifica la característica del Golden Gate Bridge y el modelo afirma ser el puente.

Importa para la seguridad porque probar el comportamiento solo muestra lo que hace un modelo cuando lo observan. Si un modelo estuviera alineado de forma engañosa, la prueba estaría dentro de él. El campo avanza, pero las características encontradas hasta ahora son solo una pequeña parte de lo que contienen los grandes modelos.