O imposto do alinhamento

Também: alignment tax, imposto de segurança, safety tax

O custo extra, em dinheiro, tempo ou desempenho, de tornar um sistema de IA seguro e não apenas capaz.

O imposto do alinhamento é «o custo incorrido por insistirmos em implementar apenas IA alinhada», como disse o investigador de segurança da IA Paul Christiano numa palestra em 2020. É tudo o que a segurança custa em comparação com o caminho mais rápido e barato para um sistema capaz: investigação e testes adicionais, um lançamento adiado ou um modelo que se sai um pouco pior em algumas tarefas.

O termo aparece na prática. Quando a OpenAI treinou o InstructGPT com feedback humano (RLHF) em 2022, o modelo tornou-se mais útil e mais verdadeiro, mas teve piores resultados em vários testes padrão. O artigo chamou-lhe «um exemplo de imposto do alinhamento» e encontrou uma forma de o reduzir misturando parte do treino original. Os autores explicaram também porque é que isso importa: um imposto do alinhamento elevado «incentiva o uso de modelos que não estão alinhados mas são mais capazes».

Essa é a verdadeira preocupação. Numa corrida entre empresas, quem paga o imposto arrisca-se a ficar para trás em relação a quem não o paga. Christiano descreveu duas respostas: reduzir o imposto através da investigação, para que a IA segura seja também a melhor IA, ou garantir que todos o pagam, através de acordos e regras, para que a segurança não seja uma desvantagem competitiva. Uma regulamentação como o Regulamento da IA da UE (AI Act) é uma tentativa da segunda.