AIdea
È solo un completamento automatico
L’IA si limita a prevedere la parola successiva?
- Studenti
- Insegnanti
Anche: solo completamento automatico, completamento automatico avanzato, just autocomplete, previsione del token successivo
L’idea che i chatbot siano solo una versione più grande dei suggerimenti di parole del tuo telefono, e che quindi non ci sia nulla di cui preoccuparsi.
C’è qualcosa di vero. La prima e più grande fase di addestramento di un modello linguistico è la previsione della parola successiva: legge un’enorme quantità di testo e impara a indovinare cosa viene dopo, un po’ come i suggerimenti della tastiera del telefono. E quando risponde, scrive un pezzo di parola alla volta.
Ma quel «solo» nasconde tre cose. Primo, i chatbot di oggi non sono addestrati solo a prevedere testo. Vengono poi addestrati con il feedback umano (RLHF) per diventare assistenti utili, e dal 2024 i nuovi modelli di «ragionamento», come o1 di OpenAI, sono addestrati con l’apprendimento per rinforzo su larga scala a risolvere i problemi passo dopo passo prima di rispondere. Secondo, prevedere molto bene la parola successiva può richiedere molto: i ricercatori che guardano dentro i modelli vi hanno trovato rappresentazioni interne del mondo, e Anthropic ha scoperto che Claude pianifica in anticipo, scegliendo una parola in rima prima di scrivere il verso che finisce con essa. Come ha detto Anthropic, i modelli sono «addestrati a produrre una parola alla volta», ma «per farlo possono pensare su orizzonti molto più lunghi». Terzo, quel «solo» non dice nulla di ciò che il sistema sa fare. Le capacità sono cresciute con la scala, spesso in modi che nessuno aveva previsto.
Niente di tutto questo significa che questi sistemi pensino come le persone, e fanno ancora errori banali. Ma «è un completamento automatico» descrive come viene prodotto il risultato, non quanto il sistema sia capace o sicuro. Questo va verificato, non dato per scontato.
