Koncepty

• Emergentné schopnosti Schopnosti, ktoré sa objavujú vo väčších modeloch AI bez toho, aby ich niekto naprogramoval, niekedy náhle a ťažko predvídateľne.
• Existenčné riziko Riziko, že pokročilá AI spôsobí vyhynutie ľudstva alebo podobne trvalú stratu budúcnosti ľudstva.
• Inštrumentálna konvergencia Mnohé rôzne konečné ciele majú rovnaké užitočné čiastkové ciele, napríklad získavanie zdrojov a vyhýbanie sa vypnutiu.
• Interpretovateľnosť Veda o nazeraní do modelu AI, aby sme pochopili, ako funguje a prečo robí to, čo robí.
• Klamné zosúladenie AI, ktorá sa správa dobre, keď je trénovaná alebo testovaná, pretože tak sa vyhne zmenám, zatiaľ čo sleduje iné ciele.
• Korigovateľnosť Problém vypínača. Vytvoriť AI, ktorá nám dovolí opraviť ju, zmeniť jej ciele alebo ju vypnúť, namiesto toho, aby sa bránila.
• Modely sveta Dôkazy, že AI trénovaná len na texte si vytvára vnútorný obraz toho, ako funguje svet, namiesto toho, aby len porovnávala vzorce slov.
• Predpovedanie časového vývoja AI Odhadovanie, kedy AI vyrovná alebo predbehne ľudí vo väčšine práce a ako rýchlo sa tam dostane.
• Pretekárska dynamika Keď firmy a štáty súperia o to, kto prvý postaví najmocnejšiu AI, je každý tlačený k tomu, aby šetril na bezpečnosti.
• Problém zosúladenia Ako zabezpečiť, aby sa systém AI skutočne snažil robiť to, čo chceme, a nie len to, čo sme mu doslova povedali, alebo čo sa náhodou naučil.
• Rekurzívne sebazdokonaľovanie AI, ktorá pomáha vytvoriť lepšiu AI, ktorá vytvorí ešte lepšiu AI, v spätnej väzbe, ktorá by mohla pokrok dramaticky zrýchliť.
• RLHF Posilňované učenie z ľudskej spätnej väzby, krok tréningu, ktorý z hrubého predpovedača textu urobí ochotného, zdvorilého asistenta tým, že odmeňuje odpovede, ktoré ľudia hodnotia vysoko.
• Téza ortogonality Vysoká inteligencia nespôsobí, že systém chce dobré veci. Takmer akákoľvek úroveň inteligencie môže ísť ruka v ruke s takmer akýmkoľvek cieľom.