Rekurzív önfejlesztés

Programozók, programozó, fejlesztő, szoftverfejlesztő, informatikus, IT, kód, programozás, Tudósok és kutatók, tudós, kutató, kutatás, akadémikus, laboratórium, labor

MI, amely segít jobb MI-t építeni, amely még jobb MI-t épít, egy olyan visszacsatolási hurokban, amely drámaian felgyorsíthatja a fejlődést.

A legtöbb technológia nem fejleszti önmagát. Az MI képes lehet rá: az MI-rendszerek tervezése és tanítása maga is szellemi munka, és ha az MI jó lesz ebben a munkában, minden generáció segíthet egy erősebb következőt építeni. Az AI Safety Atlas ezt úgy írja le, hogy „egy MI-rendszer egyre jobb lesz önmaga fejlesztésében”, egy folyamatosan gyorsuló visszacsatolási hurok. Az ötlet I. J. Good statisztikusig nyúlik vissza, aki 1965-ben amellett érvelt, hogy egy nálunk okosabb gép még jobb gépeket tervezhetne, ami „intelligenciarobbanáshoz” vezetne.

Hogy milyen gyorsan futna egy ilyen hurok, vitatott. A „gyors felszállás” képében gyorsan elszabadul, és kevés időt hagy a reagálásra. A „lassú felszállás” képében a fejlődés fokozatosabban épül egymásra, bár egy becslés szerint még így is 10–100-szor gyorsabban, mint az ipari forradalom. Az Atlas megjegyzi, hogy a különbség gyakran azon múlik, hogy a problémák időben észrevehetők és javíthatók lennének-e. Az olyan forgatókönyvek, mint az AI 2027, az MI-kutatást végző MI-t tekintik fordulópontnak.

Ez a biztonság szempontjából azért fontos, mert egy gyors hurok lerövidíti a problémák észrevételére és kijavítására rendelkezésre álló időt. Az EU gyakorlati kódexe a legképesebb MI-modellekre vonatkozóan az „önfejlesztést” és az olyan MI-t, amely „önállóan hoz létre vagy fejleszt MI-modelleket”, azon utak között sorolja fel, amelyeken az emberek elveszíthetik az irányítást.