Koncepti

• Dinamika utrke Kad se tvrtke i države natječu tko će prvi izgraditi najmoćniju UI, svatko je gurnut da štedi na sigurnosti.
• Egzistencijalni rizik Rizik da napredna UI uzrokuje izumiranje čovječanstva ili jednako trajan gubitak budućnosti čovječanstva.
• Emergentne sposobnosti Sposobnosti koje se pojavljuju u većim modelima UI-ja, a da ih nitko nije programirao, ponekad naglo i teško predvidljivo.
• Instrumentalna konvergencija Mnogi različiti krajnji ciljevi dijele iste korisne podciljeve, poput stjecanja resursa i izbjegavanja isključivanja.
• Interpretabilnost Znanost o zavirivanju u model UI-ja kako bi se razumjelo kako funkcionira i zašto radi to što radi.
• Ispravljivost Problem prekidača za isključivanje. Izgraditi UI koja nam dopušta da je ispravimo, promijenimo joj ciljeve ili je isključimo, umjesto da se opire.
• Modeli svijeta Dokazi da UI trenirana samo na tekstu gradi unutarnju sliku o tome kako svijet funkcionira, umjesto da samo spaja obrasce riječi.
• Obmanjujuća usklađenost UI koja se lijepo ponaša dok je treniraju ili testiraju, jer tako izbjegava promjene, a istodobno slijedi druge ciljeve.
• Predviđanje vremenskog okvira UI-ja Procjena kad će UI dostići ili prestići ljude u većini poslova i koliko će brzo do toga doći.
• Problem usklađenosti Kako osigurati da sustav UI-ja zaista pokušava činiti ono što želimo, a ne samo ono što smo mu doslovno rekli ili što je slučajno naučio.
• Rekurzivno samopoboljšavanje UI koja pomaže izgraditi bolju UI, koja pak gradi još bolju, u povratnoj petlji koja bi mogla dramatično ubrzati napredak.
• RLHF Podržano učenje iz ljudskih povratnih informacija, korak treniranja koji od sirovog prediktora teksta stvara uslužnog, pristojnog asistenta nagrađujući odgovore koje ljudi visoko ocjenjuju.
• Teza o ortogonalnosti Velika inteligencija ne čini da sustav želi dobre stvari. Gotovo bilo koja razina inteligencije može ići uz gotovo bilo koji cilj.