É só autocompletar

Estudantes, estudante, aluno, aluna, universidade, escola, estudar, Professores, professor, professora, docente, educador, educadora, escola, ensino

Também: só autocompletar, autocompletar avançado, just autocomplete, previsão do próximo token

A ideia de que os chatbots são apenas uma versão maior das sugestões de palavras do seu telemóvel e que, por isso, não há motivo para preocupação.

Há algo de verdade nisso. O primeiro e maior passo do treino de um modelo de linguagem é a previsão da próxima palavra: lê uma enorme quantidade de texto e aprende a adivinhar o que vem a seguir, tal como as sugestões do teclado do telemóvel. E quando responde, escreve um pedaço de palavra de cada vez.

Mas o «só» esconde três coisas. Primeiro, os chatbots atuais não são treinados apenas para prever texto. Depois são treinados com feedback humano (RLHF) para serem assistentes úteis, e desde 2024 novos modelos de «raciocínio», como o o1 da OpenAI, são treinados com aprendizagem por reforço em larga escala para resolver problemas passo a passo antes de responder. Segundo, prever muito bem a próxima palavra pode exigir muito: investigadores que olham para dentro dos modelos encontraram representações internas do mundo, e a Anthropic descobriu que o Claude planeia com antecedência, escolhendo uma palavra que rima antes de escrever o verso que termina nela. Como disse a Anthropic, os modelos são «treinados para produzir uma palavra de cada vez», mas «para isso podem pensar em horizontes muito mais longos». Terceiro, o «só» nada diz sobre o que o sistema consegue fazer. As capacidades cresceram com a escala, muitas vezes de formas que ninguém previu.

Nada disto significa que estes sistemas pensem como as pessoas, e continuam a cometer erros simples. Mas «é autocompletar» descreve como o resultado é produzido, não quão capaz ou quão seguro o sistema é. Isso tem de ser testado, não presumido.