Sąvokos
- Apgaulingas suderinimas DI, kuris gerai elgiasi, kol yra mokomas ar tikrinamas, nes taip išvengia pakeitimų, o kartu siekia kitų tikslų.
- DI raidos terminų prognozavimas Įvertinimas, kada DI prilygs žmonėms ar juos aplenks atliekant daugumą darbų ir kaip greitai jis to pasieks.
- Egzistencinė rizika Rizika, kad pažangus DI sukels žmonijos išnykimą arba panašiai negrįžtamą žmonijos ateities praradimą.
- Emergentiniai gebėjimai Gebėjimai, kurie atsiranda didesniuose DI modeliuose niekam jų neprogramavus, kartais staiga ir sunkiai nuspėjamai.
- Instrumentinė konvergencija Daugelis skirtingų galutinių tikslų turi tuos pačius naudingus tarpinius tikslus, pavyzdžiui, įgyti išteklių ir išvengti išjungimo.
- Interpretuojamumas Mokslas apie žvilgsnį į DI modelio vidų, siekiant suprasti, kaip jis veikia ir kodėl daro tai, ką daro.
- Lenktynių dinamika Kai bendrovės ir valstybės varžosi, kas pirmas sukurs galingiausią DI, kiekviena yra stumiama taupyti saugumo sąskaita.
- Ortogonalumo tezė Didelis intelektas nepriverčia sistemos norėti gerų dalykų. Beveik bet koks intelekto lygis gali derėti su beveik bet kokiu tikslu.
- Pasaulio modeliai Įrodymai, kad vien tekstu apmokytas DI susikuria vidinį vaizdą apie tai, kaip veikia pasaulis, o ne vien derina žodžių šablonus.
- Pataisomumas Išjungimo mygtuko problema. Sukurti DI, kuris leistų mums jį taisyti, keisti jo tikslus ar jį išjungti, užuot priešinęsis.
- Rekursyvus savitobulinimas DI, kuris padeda sukurti geresnį DI, o šis sukuria dar geresnį, grįžtamojo ryšio cikle, galinčiame smarkiai paspartinti pažangą.
- RLHF Skatinamasis mokymasis iš žmonių grįžtamojo ryšio – mokymo žingsnis, kuris paverčia neapdorotą teksto numatytoją paslaugiu, mandagiu asistentu, apdovanodamas atsakymus, kuriuos žmonės vertina aukštai.
- Suderinimo problema Kaip užtikrinti, kad DI sistema iš tikrųjų stengtųsi daryti tai, ko norime, o ne tik tai, ką pažodžiui pasakėme ar ką ji atsitiktinai išmoko.
