AIdea
Loro estocástico
¿La IA entiende algo o solo repite lo que ha leído?
- Escritores y periodistas
- Estudiantes
- Docentes
También: loros estocásticos, stochastic parrot, stochastic parrots
La afirmación de que los modelos de lenguaje encadenan palabras según probabilidades, sin comprender en absoluto su significado.
La expresión viene de un artículo de 2021 de la lingüista Emily M. Bender, la investigadora de IA Timnit Gebru y sus colegas. Describían un modelo de lenguaje como un sistema que encadena secuencias de palabras vistas en sus datos de entrenamiento, según las probabilidades de cómo se combinan, «sin ninguna referencia al significado». «Estocástico» significa regido por el azar; los loros repiten palabras que no entienden.
Las principales advertencias del artículo trataban de daños que hoy son reales: el coste ambiental y económico de modelos cada vez más grandes, enormes datos de entrenamiento sin examinar que incorporan sesgos, y el riesgo de que la gente confíe en un texto fluido detrás del cual no hay nada. Esas preocupaciones siguen vigentes. La expresión cobró vida propia, como forma abreviada de decir «en realidad no entiende nada», y a menudo se usa para argumentar que estos sistemas son menos capaces de lo que parecen.
En esa cuestión más concreta, las pruebas han cambiado. Investigadores que miran dentro de los modelos han encontrado representaciones internas del mundo: de un tablero de juego que nunca se le mostró al modelo, de dónde están los lugares y cuándo ocurrieron los acontecimientos, y de pasos intermedios del razonamiento, como «Dallas está en Texas» de camino a «la capital es Austin». El AI Safety Atlas concluye que los modelos comprimen lo que aprenden en algo parecido a modelos del mundo, aunque de forma desigual. Si eso cuenta como «entender» es en parte una cuestión de definición. Para la seguridad, lo que importa es que estos sistemas pueden hacer más cosas, y más inesperadas, de lo que sugiere la imagen del loro.
