Rekursiv selvforbedring

Programmører, programmør, udvikler, softwareudvikler, IT, kode, programmering, Forskere, forsker, videnskabsmand, forskning, akademiker, laboratorium

AI, der hjælper med at bygge bedre AI, som bygger endnu bedre AI, i en feedbacksløjfe, der kunne fremskynde udviklingen dramatisk.

De fleste teknologier forbedrer ikke sig selv. AI kunne: At designe og træne AI-systemer er i sig selv intellektuelt arbejde, og hvis AI bliver god til det arbejde, kunne hver generation hjælpe med at bygge en stærkere næste. AI Safety Atlas beskriver det som »et AI-system bliver bedre til at forbedre sig selv«, en feedbacksløjfe, der bliver ved med at accelerere. Idéen går tilbage til statistikeren I. J. Good, som i 1965 argumenterede for, at en maskine, der er klogere end os, kunne designe endnu bedre maskiner og føre til en »intelligenseksplosion«.

Hvor hurtigt sådan en sløjfe ville køre, er omstridt. I billedet af en »hurtig take-off« løber den hurtigt løbsk og efterlader kort tid til at reagere. I billedet af en »langsom take-off« hober fremskridtet sig mere gradvist op, men ifølge et estimat stadig 10 til 100 gange hurtigere end den industrielle revolution. Atlas bemærker, at forskellen ofte handler om, hvorvidt problemer ville være til at opdage og rette i tide. Scenarier som AI 2027 behandler AI, der laver AI-forskning, som vendepunktet.

Det betyder noget for sikkerheden, fordi en hurtig sløjfe forkorter tiden til at opdage og rette problemer. EU’s adfærdskodeks for de mest kapable AI-modeller nævner »selvforbedring« og AI, der »selvstændigt skaber eller forbedrer AI-modeller«, blandt de måder, hvorpå mennesker kunne miste kontrollen.