AIdea
Papagaio estocástico
A IA percebe alguma coisa, ou só repete o que leu?
- Escritores e jornalistas
- Estudantes
- Professores
Também: papagaios estocásticos, stochastic parrot, stochastic parrots
A afirmação de que os modelos de linguagem juntam palavras segundo probabilidades, sem qualquer compreensão do significado.
A expressão vem de um artigo de 2021 da linguista Emily M. Bender, da investigadora de IA Timnit Gebru e colegas. Descreviam um modelo de linguagem como um sistema que junta sequências de palavras vistas nos seus dados de treino, segundo as probabilidades de como se combinam, «sem qualquer referência ao significado». «Estocástico» significa regido pelo acaso; os papagaios repetem palavras que não compreendem.
Os principais avisos do artigo diziam respeito a danos que hoje são reais: o custo ambiental e financeiro de modelos cada vez maiores, enormes dados de treino não examinados que incorporam preconceitos, e o risco de as pessoas confiarem em texto fluente sem nada por trás. Essas preocupações continuam válidas. A expressão ganhou vida própria, como forma abreviada de dizer «na verdade não percebe nada», e é muitas vezes usada para argumentar que estes sistemas são menos capazes do que parecem.
Nessa questão mais restrita, as provas mudaram. Investigadores que olham para dentro dos modelos encontraram representações internas do mundo: de um tabuleiro de jogo que nunca foi mostrado ao modelo, de onde ficam os lugares e de quando aconteceram os acontecimentos, e de passos intermédios do raciocínio, como «Dallas fica no Texas» a caminho de «a capital é Austin». O AI Safety Atlas conclui que os modelos comprimem o que aprendem em algo parecido com modelos do mundo, embora de forma desigual. Se isso conta como «compreender» é em parte uma questão de definição. Para a segurança, o que importa é que estes sistemas conseguem fazer mais, e de forma mais inesperada, do que a imagem do papagaio sugere.
