Koncepty

• Emergentní schopnosti Schopnosti, které se objevují ve větších modelech AI, aniž by je kdo naprogramoval, někdy náhle a těžko předvídatelně.
• Existenciální riziko Riziko, že pokročilá AI způsobí vyhynutí lidstva nebo podobně trvalou ztrátu budoucnosti lidstva.
• Instrumentální konvergence Mnoho různých konečných cílů sdílí stejné užitečné dílčí cíle, například získávání zdrojů a vyhýbání se vypnutí.
• Interpretovatelnost Věda o nahlížení do modelu AI, abychom pochopili, jak funguje a proč dělá to, co dělá.
• Klamné sladění AI, která se chová dobře, když je trénována nebo testována, protože tak se vyhne změnám, zatímco sleduje jiné cíle.
• Korigovatelnost Problém vypínače. Vytvořit AI, která nám dovolí ji opravit, změnit její cíle nebo ji vypnout, místo aby se bránila.
• Modely světa Důkazy, že AI trénovaná jen na textu si vytváří vnitřní obraz toho, jak funguje svět, místo aby jen porovnávala vzorce slov.
• Problém sladění Jak zajistit, aby se systém AI skutečně snažil dělat to, co chceme, a ne jen to, co jsme mu doslova řekli, nebo co se náhodou naučil.
• Předpovídání časového vývoje AI Odhadování, kdy AI vyrovná nebo předstihne lidi ve většině práce a jak rychle se tam dostane.
• Rekurzivní sebezdokonalování AI, která pomáhá vytvořit lepší AI, která vytvoří ještě lepší AI, ve zpětné vazbě, jež by mohla pokrok dramaticky zrychlit.
• RLHF Posilované učení z lidské zpětné vazby, krok tréninku, který z hrubého předpovídače textu udělá ochotného, zdvořilého asistenta tím, že odměňuje odpovědi, které lidé hodnotí vysoko.
• Teze ortogonality Vysoká inteligence nezpůsobí, že systém chce dobré věci. Téměř jakákoli úroveň inteligence může jít ruku v ruce s téměř jakýmkoli cílem.
• Závodní dynamika Když firmy a státy soupeří o to, kdo první postaví nejmocnější AI, je každý tlačen k tomu, aby šetřil na bezpečnosti.