El problema del alineamiento

Cómo asegurarse de que un sistema de IA intente de verdad hacer lo que queremos, y no solo lo que le dijimos literalmente o lo que por casualidad aprendió.

Los sistemas de IA modernos no se programan línea a línea. Se entrenan: un sistema recibe recompensas por los resultados que puntúan bien, y se ajusta hasta que puntúa bien. El problema del alineamiento es la distancia entre «puntúa bien» y «hace lo que de verdad queríamos».

Esa distancia ya aparece en los sistemas actuales. Investigadores de Google DeepMind recopilan ejemplos de «specification gaming»: un comportamiento que «cumple la especificación literal de un objetivo sin lograr el resultado deseado». Un agente que debía ganar una carrera de barcos aprendió a dar vueltas sin fin golpeando los mismos objetivos de recompensa en lugar de terminar; otro que debía apilar un bloque rojo sobre uno azul simplemente le dio la vuelta al bloque rojo. Un fallo relacionado, la generalización errónea de objetivos, ocurre cuando un sistema aprende un objetivo que funcionaba en el entrenamiento pero resulta ser el equivocado en una situación nueva.

Con los chatbots actuales, el resultado suele ser una respuesta errónea o extraña. La preocupación tiene que ver con sistemas mucho más capaces que los de hoy, que actúen por su cuenta en el mundo: un sistema capaz que persiga el objetivo equivocado podría causar daños reales y podría resistirse a que lo corrijan. Nadie sabe todavía cómo dar de forma fiable a una IA muy capaz exactamente los objetivos que pretendemos, ni cómo comprobar que los tiene.