Fogalmak
- Az MI ütemtervének előrejelzése Annak becslése, mikor éri utol vagy előzi meg az MI az embereket a legtöbb munkában, és milyen gyorsan jut el oda.
- Az összehangolás problémája Hogyan biztosítsuk, hogy egy MI-rendszer valóban azt próbálja tenni, amit szeretnénk, és ne csak azt, amit szó szerint mondtunk neki, vagy amit véletlenül megtanult.
- Egzisztenciális kockázat Annak kockázata, hogy a fejlett MI az emberiség kihalását vagy az emberiség jövőjének hasonlóan végleges elvesztését okozza.
- Emergens képességek Olyan képességek, amelyek nagyobb MI-modellekben jelennek meg anélkül, hogy bárki beprogramozta volna őket, néha hirtelen és nehezen megjósolhatóan.
- Értelmezhetőség Annak tudománya, hogyan nézzünk bele egy MI-modellbe, hogy megértsük, hogyan működik, és miért teszi, amit tesz.
- Instrumentális konvergencia Sok különböző végső célnak ugyanazok a hasznos részcéljai, például az erőforrások megszerzése és a kikapcsolás elkerülése.
- Korrigálhatóság A kikapcsológomb problémája. Olyan MI építése, amely hagyja, hogy kijavítsuk, megváltoztassuk a céljait vagy kikapcsoljuk, ahelyett hogy ellenállna.
- Megtévesztő összehangoltság Egy MI, amely jól viselkedik, amíg tanítják vagy tesztelik, mert így kerüli el a megváltoztatását, miközben más célokat követ.
- Ortogonalitási tézis Attól, hogy egy rendszer nagyon intelligens, még nem akar jó dolgokat. Szinte bármilyen intelligenciaszint szinte bármilyen céllal párosulhat.
- Rekurzív önfejlesztés MI, amely segít jobb MI-t építeni, amely még jobb MI-t épít, egy olyan visszacsatolási hurokban, amely drámaian felgyorsíthatja a fejlődést.
- RLHF Megerősítéses tanulás emberi visszajelzésből: az a tanítási lépés, amely egy nyers szöveg-előrejelzőből segítőkész, udvarias asszisztenst csinál azáltal, hogy jutalmazza az emberek által jónak értékelt válaszokat.
- Versenydinamika Amikor cégek és országok azért versenyeznek, hogy elsőként építsék meg a legerősebb MI-t, mindegyiküket arra ösztönzi, hogy a biztonságon spóroljon.
- Világmodellek Bizonyítékok arra, hogy a csak szövegen tanított MI belső képet alkot arról, hogyan működik a világ, ahelyett hogy csak szómintázatokat illesztene.
