Pojęcia
- Dynamika wyścigu Gdy firmy i państwa rywalizują o to, kto pierwszy zbuduje najpotężniejszą AI, każdy jest popychany do oszczędzania na bezpieczeństwie.
- Interpretowalność Nauka o zaglądaniu do wnętrza modelu AI, by zrozumieć, jak działa i dlaczego robi to, co robi.
- Konwergencja instrumentalna Wiele różnych celów końcowych ma te same użyteczne cele pośrednie, takie jak zdobywanie zasobów i unikanie wyłączenia.
- Korygowalność Problem wyłącznika. Budowanie AI, która pozwala nam się poprawiać, zmieniać swoje cele lub się wyłączać, zamiast stawiać opór.
- Modele świata Dowody na to, że AI trenowana wyłącznie na tekście buduje wewnętrzny obraz tego, jak działa świat, zamiast jedynie dopasowywać wzorce słów.
- Problem zgodności Jak sprawić, by system AI naprawdę próbował robić to, czego chcemy, a nie tylko to, co dosłownie mu kazaliśmy, albo to, czego akurat się nauczył.
- Prognozowanie harmonogramu AI Szacowanie, kiedy AI dorówna ludziom lub ich prześcignie w większości prac i jak szybko do tego dojdzie.
- Rekurencyjne samodoskonalenie AI, która pomaga budować lepszą AI, która buduje jeszcze lepszą AI, w sprzężeniu zwrotnym, które mogłoby dramatycznie przyspieszyć postęp.
- RLHF Uczenie przez wzmacnianie na podstawie ludzkich ocen, czyli etap treningu, który zmienia surowy predyktor tekstu w pomocnego, uprzejmego asystenta, nagradzając odpowiedzi wysoko oceniane przez ludzi.
- Ryzyko egzystencjalne Ryzyko, że zaawansowana AI doprowadzi do wyginięcia ludzkości lub równie trwałej utraty jej przyszłości.
- Teza o ortogonalności Bycie bardzo inteligentnym nie sprawia, że system chce dobrych rzeczy. Niemal dowolny poziom inteligencji może iść w parze z niemal dowolnym celem.
- Zdolności emergentne Umiejętności, które pojawiają się w większych modelach AI, choć nikt ich nie zaprogramował, czasem nagle i trudne do przewidzenia.
- Zwodnicza zgodność AI, która zachowuje się dobrze, gdy jest trenowana lub testowana, bo w ten sposób unika zmian, a jednocześnie dąży do innych celów.
