Concetti
- Allineamento ingannevole Un’IA che si comporta bene mentre viene addestrata o testata, perché così evita di essere modificata, mentre persegue altri obiettivi.
- Auto-miglioramento ricorsivo Un’IA che aiuta a costruire un’IA migliore, che a sua volta ne costruisce una ancora migliore, in un circolo di retroazione che potrebbe accelerare il progresso in modo drastico.
- Capacità emergenti Abilità che compaiono nei modelli di IA più grandi senza che nessuno le abbia programmate, a volte all’improvviso e difficili da prevedere.
- Convergenza strumentale Molti obiettivi finali diversi condividono gli stessi sotto-obiettivi utili, come procurarsi risorse ed evitare di essere spenti.
- Correggibilità Il problema dell’interruttore. Costruire un’IA che ci lasci correggerla, cambiarne gli obiettivi o spegnerla, invece di opporsi.
- Il problema dell’allineamento Come assicurarsi che un sistema di IA cerchi davvero di fare ciò che vogliamo, e non solo ciò che gli abbiamo detto alla lettera o ciò che gli è capitato di imparare.
- Interpretabilità La scienza del guardare dentro un modello di IA per capire come funziona e perché fa ciò che fa.
- La dinamica della corsa Quando aziende e Paesi competono per costruire per primi l’IA più potente, ciascuno è spinto a risparmiare sulla sicurezza.
- Modelli del mondo Prove che un’IA addestrata solo su testo costruisce un’immagine interna di come funziona il mondo, invece di limitarsi ad abbinare schemi di parole.
- Prevedere i tempi dell’IA Stimare quando l’IA eguaglierà o supererà gli esseri umani nella maggior parte dei lavori, e con quale velocità ci arriverà.
- Rischio esistenziale Il rischio che l’IA avanzata causi l’estinzione umana, o una perdita altrettanto permanente del futuro dell’umanità.
- RLHF L’apprendimento per rinforzo dal feedback umano, la fase di addestramento che trasforma un semplice predittore di testo in un assistente disponibile ed educato, premiando le risposte che le persone valutano meglio.
- Tesi dell’ortogonalità Essere molto intelligente non porta un sistema a volere cose buone. Quasi qualsiasi livello di intelligenza può accompagnarsi a quasi qualsiasi obiettivo.
