Pojmi

• Dinamika tekme Ko podjetja in države tekmujejo, kdo bo prvi zgradil najzmogljivejšo UI, je vsak potisnjen v varčevanje pri varnosti.
• Eksistencialno tveganje Tveganje, da napredna UI povzroči izumrtje človeštva ali podobno trajno izgubo prihodnosti človeštva.
• Emergentne zmožnosti Zmožnosti, ki se pojavijo v večjih modelih UI, ne da bi jih kdo programiral, včasih nenadoma in težko predvidljivo.
• Instrumentalna konvergenca Veliko različnih končnih ciljev ima iste koristne vmesne cilje, na primer pridobivanje virov in izogibanje izklopu.
• Modeli sveta Dokazi, da UI, učena le na besedilu, ustvari notranjo podobo delovanja sveta, namesto da bi le ujemala vzorce besed.
• Napovedovanje časovnice UI Ocenjevanje, kdaj bo UI ujela ali prehitela ljudi pri večini dela in kako hitro bo do tja prišla.
• Popravljivost Problem stikala za izklop. Zgraditi UI, ki nam dovoli, da jo popravimo, spremenimo njene cilje ali jo izklopimo, namesto da bi se upirala.
• Problem usklajenosti Kako zagotoviti, da sistem UI dejansko poskuša narediti to, kar želimo, in ne le tega, kar smo mu dobesedno rekli ali kar se je po naključju naučil.
• Razložljivost Znanost o vpogledu v notranjost modela UI, da bi razumeli, kako deluje in zakaj počne, kar počne.
• Rekurzivno samoizboljševanje UI, ki pomaga zgraditi boljšo UI, ta pa še boljšo, v povratni zanki, ki bi lahko napredek dramatično pospešila.
• RLHF Spodbujevalno učenje s človeškimi povratnimi informacijami, korak učenja, ki iz surovega napovedovalnika besedila naredi ustrežljivega, vljudnega pomočnika, tako da nagrajuje odgovore, ki jih ljudje visoko ocenijo.
• Teza o ortogonalnosti Visoka inteligenca ne povzroči, da sistem želi dobre stvari. Skoraj katera koli raven inteligence gre lahko skupaj s skoraj katerim koli ciljem.
• Zavajajoča usklajenost UI, ki se lepo vede, dokler se uči ali je preizkušana, ker se tako izogne spremembam, medtem ko zasleduje druge cilje.