No es más que autocompletar

Estudiantes, estudiante, alumno, alumna, universidad, instituto, estudiar, Docentes, profesor, profesora, maestro, maestra, docente, enseñanza, colegio, escuela, educador

También: solo autocompletar, autocompletar avanzado, just autocomplete, predicción del siguiente token

La idea de que los chatbots solo son una versión más grande de las sugerencias de palabras de tu móvil, así que no hay nada de qué preocuparse.

Hay algo de verdad en ello. El primer y mayor paso del entrenamiento de un modelo de lenguaje es predecir la siguiente palabra: lee una enorme cantidad de texto y aprende a adivinar lo que viene después, muy parecido a las sugerencias del teclado del móvil. Y cuando responde, escribe un trozo de palabra cada vez.

Pero el «solo» esconde tres cosas. Primero, los chatbots actuales no se entrenan únicamente para predecir texto. Después se entrenan con retroalimentación humana (RLHF) para ser asistentes útiles, y desde 2024 los nuevos modelos de «razonamiento», como o1 de OpenAI, se entrenan con aprendizaje por refuerzo a gran escala para resolver problemas paso a paso antes de responder. Segundo, predecir muy bien la siguiente palabra puede exigir mucho: investigadores que miran dentro de los modelos han encontrado representaciones internas del mundo, y Anthropic descubrió que Claude planifica por adelantado, eligiendo una palabra que rima antes de escribir el verso que termina en ella. Como dijo Anthropic, los modelos están «entrenados para producir una palabra cada vez», pero «para hacerlo pueden pensar con horizontes mucho más largos». Tercero, el «solo» no dice nada de lo que el sistema puede hacer. Las capacidades han crecido con la escala, a menudo de formas que nadie predijo.

Nada de esto significa que estos sistemas piensen como las personas, y siguen cometiendo errores simples. Pero «es autocompletar» describe cómo se produce la respuesta, no lo capaz o lo seguro que es el sistema. Eso hay que comprobarlo, no suponerlo.