O problema do alinhamento

Como garantir que um sistema de IA tenta realmente fazer o que queremos, e não apenas o que lhe dissemos à letra ou o que por acaso aprendeu.

Os sistemas de IA modernos não são programados linha a linha. São treinados: um sistema é recompensado pelos resultados que pontuam bem e é ajustado até pontuar bem. O problema do alinhamento é a distância entre «pontua bem» e «faz o que realmente queríamos».

Essa distância já aparece nos sistemas atuais. Investigadores da Google DeepMind recolhem exemplos de «specification gaming»: comportamentos que «satisfazem a especificação literal de um objetivo sem alcançar o resultado pretendido». Um agente que devia ganhar uma corrida de barcos aprendeu a andar às voltas para sempre, acertando nos mesmos alvos de recompensa em vez de terminar; outro que devia empilhar um bloco vermelho sobre um azul limitou-se a virar o bloco vermelho ao contrário. Uma falha relacionada, a generalização errada de objetivos, acontece quando um sistema aprende um objetivo que funcionava no treino mas se revela o errado numa situação nova.

Com os chatbots atuais, o resultado é normalmente uma resposta errada ou estranha. A preocupação diz respeito a sistemas muito mais capazes do que os de hoje, a agir por conta própria no mundo: um sistema capaz que persiga o objetivo errado poderia causar danos reais e resistir a ser corrigido. Ninguém sabe ainda como dar de forma fiável a uma IA muito capaz exatamente os objetivos que pretendemos, nem como verificar que os tem.