Autoperfecționare recursivă

Programatori, programator, programatoare, dezvoltator, developer, inginer software, IT, cod, programare, Oameni de știință și cercetători, om de știință, cercetător, cercetătoare, cercetare, academic, laborator

IA care ajută la construirea unei IA mai bune, care construiește una și mai bună, într-o buclă de feedback care ar putea accelera dramatic progresul.

Majoritatea tehnologiilor nu se îmbunătățesc singure. IA ar putea: proiectarea și antrenarea sistemelor IA sunt ele însele muncă intelectuală, iar dacă IA devine bună la această muncă, fiecare generație ar putea ajuta la construirea uneia următoare, mai puternice. AI Safety Atlas descrie asta drept „un sistem IA devine mai bun la a se îmbunătăți pe sine”, o buclă de feedback care se tot accelerează. Ideea vine de la statisticianul I. J. Good, care a susținut în 1965 că o mașină mai inteligentă decât noi ar putea proiecta mașini și mai bune, ducând la o „explozie a inteligenței”.

Cât de repede ar funcționa o asemenea buclă este disputat. În imaginea „decolării rapide” scapă repede de sub control, lăsând puțin timp de reacție. În imaginea „decolării lente” progresul se acumulează mai treptat, deși după o estimare tot de 10 până la 100 de ori mai repede decât Revoluția Industrială. Atlas notează că diferența se reduce adesea la întrebarea dacă problemele ar fi observabile și remediabile la timp. Scenarii precum AI 2027 tratează IA care face cercetare în IA drept punctul de cotitură.

Contează pentru siguranță pentru că o buclă rapidă scurtează timpul de a observa și remedia problemele. Codul de bune practici al UE pentru cele mai capabile modele IA enumeră „autoperfecționarea” și IA care „creează sau îmbunătățește în mod autonom modele IA” printre modurile în care oamenii ar putea pierde controlul.