AIdea
p(doom)
Колко вероятно е ИИ да завърши зле?
Още: p-doom, pdoom, вероятност за гибел, probability of doom
Съкращение за личната оценка на някого за шанса ИИ да доведе до катастрофа, например изчезването на човечеството.
„p(doom)“ се пише като вероятност в математиката: вероятността за гибел („doom“). Започна като шеговито съкращение между посветени във форума LessWrong около 2009 г. и се разпространи широко след излизането на GPT-4 през 2023 г., когато „какво е твоето p(doom)?“ стана стандартен въпрос към всеки, който създава или изучава ИИ.
AI Safety Atlas го определя като „субективната вероятност изкуственият интелект да причини екзистенциално катастрофални последици за човечеството“. Отговорите варират изключително много. Atlas изброява публикувани оценки от 0% (инвеститорът Марк Андресен) и под 0,01% (изследователят на ИИ Ян Льокун), през 10–20% и 20% (пионерите на ИИ Джефри Хинтън и Йошуа Бенджо), до над 95% (Елиезер Юдковски от MIRI). Изпълнителният директор на Anthropic Дарио Амодей е посочен с 10–25%. В най-голямото проучване сред изследователи на ИИ между 38% и 51% от тях дават поне 10% шанс за последици, толкова тежки, колкото изчезването на човечеството.
Какво не е p(doom): измерване. Няма „стандартизирана методология“, както казва Atlas, а хората влагат различно значение в „doom“ и във времевия хоризонт. Числата обаче показват, че много от хората, които познават ИИ най-добре, смятат катастрофата за реална възможност, а не за научна фантастика. За сравнение, малцина биха се качили на самолет с 10% шанс да катастрофира.
