Concepte
- Aliniere înșelătoare O IA care se poartă bine cât timp e antrenată sau testată, pentru că așa evită să fie schimbată, în timp ce urmărește alte obiective.
- Autoperfecționare recursivă IA care ajută la construirea unei IA mai bune, care construiește una și mai bună, într-o buclă de feedback care ar putea accelera dramatic progresul.
- Capacități emergente Abilități care apar în modelele IA mai mari fără ca cineva să le programeze, uneori brusc și greu de prevăzut.
- Convergența instrumentală Multe scopuri finale diferite au aceleași subscopuri utile, precum obținerea de resurse și evitarea opririi.
- Corigibilitate Problema butonului de oprire. Construirea unei IA care ne lasă s-o corectăm, să-i schimbăm obiectivele sau s-o oprim, în loc să se opună.
- Dinamica de cursă Când companiile și țările se întrec să construiască primele cea mai puternică IA, fiecare e împins să facă economie la siguranță.
- Interpretabilitate Știința de a privi în interiorul unui model IA pentru a înțelege cum funcționează și de ce face ce face.
- Modele ale lumii Dovezi că o IA antrenată doar pe text își construiește o imagine internă a felului în care funcționează lumea, în loc să potrivească doar tipare de cuvinte.
- Problema alinierii Cum ne asigurăm că un sistem IA încearcă cu adevărat să facă ce vrem, nu doar ce i-am spus literal sau ce s-a întâmplat să învețe.
- Prognozarea calendarului IA Estimarea momentului în care IA va egala sau depăși oamenii la majoritatea muncilor și a vitezei cu care va ajunge acolo.
- Risc existențial Riscul ca IA avansată să provoace dispariția omenirii sau o pierdere la fel de permanentă a viitorului omenirii.
- RLHF Învățarea prin întărire din feedback uman, pasul de antrenare care transformă un simplu predictor de text într-un asistent serviabil și politicos, recompensând răspunsurile pe care oamenii le notează bine.
- Teza ortogonalității A fi foarte inteligent nu face ca un sistem să vrea lucruri bune. Aproape orice nivel de inteligență poate merge cu aproape orice obiectiv.
