Понятия

• Възникващи способности Умения, които се появяват в по-големите модели на ИИ, без никой да ги е програмирал, понякога внезапно и трудно предвидимо.
• Динамика на надпреварата Когато компании и държави се състезават кой пръв ще създаде най-мощния ИИ, всяка от тях е подтикната да пести от безопасността.
• Екзистенциален риск Рискът напредналият ИИ да причини изчезването на човечеството или също толкова трайна загуба на бъдещето на човечеството.
• Измамно съгласуване ИИ, който се държи добре, докато го обучават или тестват, защото така избягва да бъде променен, докато преследва други цели.
• Инструментална конвергенция Много различни крайни цели споделят едни и същи полезни междинни цели, като придобиване на ресурси и избягване на изключване.
• Интерпретируемост Науката за надникване в модел на ИИ, за да се разбере как работи и защо прави това, което прави.
• Коригируемост Проблемът с бутона за изключване. Да се създаде ИИ, който ни позволява да го поправяме, да променяме целите му или да го изключваме, вместо да се съпротивлява.
• Модели на света Доказателства, че ИИ, обучен само върху текст, изгражда вътрешна представа за това как работи светът, вместо само да съпоставя модели от думи.
• Проблемът със съгласуването Как да сме сигурни, че една система с ИИ наистина се опитва да прави това, което искаме, а не само това, което буквално сме ѝ казали, или това, което случайно е научила.
• Прогнозиране на сроковете за ИИ Оценяване кога ИИ ще настигне или изпревари хората в повечето видове работа и колко бързо ще стигне дотам.
• Рекурсивно самоусъвършенстване ИИ, който помага да се създаде по-добър ИИ, който на свой ред създава още по-добър, в обратна връзка, която може драматично да ускори напредъка.
• Тезата за ортогоналността Високата интелигентност не кара една система да иска добри неща. Почти всяко ниво на интелигентност може да върви с почти всяка цел.
• RLHF Обучение с подкрепление от човешка обратна връзка, стъпката от обучението, която превръща суров предсказвач на текст в услужлив, учтив асистент, като награждава отговорите, които хората оценяват високо.