Rekursiv självförbättring

Programmerare, utvecklare, systemutvecklare, IT, kod, programmering, Forskare, vetenskapsman, forskning, akademiker, laboratorium, labb

AI som hjälper till att bygga bättre AI, som bygger ännu bättre AI, i en återkopplingsslinga som skulle kunna påskynda utvecklingen dramatiskt.

De flesta tekniker förbättrar inte sig själva. AI skulle kunna det: att konstruera och träna AI-system är i sig intellektuellt arbete, och om AI blir bra på det arbetet skulle varje generation kunna hjälpa till att bygga en starkare nästa. AI Safety Atlas beskriver detta som att ”ett AI-system blir bättre på att förbättra sig självt”, en återkopplingsslinga som fortsätter att accelerera. Idén går tillbaka till statistikern I. J. Good, som 1965 hävdade att en maskin som är smartare än vi skulle kunna konstruera ännu bättre maskiner, vilket skulle leda till en ”intelligensexplosion”.

Hur snabbt en sådan slinga skulle gå är omstritt. I bilden av en ”snabb takeoff” skenar den snabbt iväg och lämnar lite tid att reagera. I bilden av en ”långsam takeoff” byggs utvecklingen på mer gradvis, men enligt en uppskattning ändå 10 till 100 gånger snabbare än den industriella revolutionen. Atlas noterar att skillnaden ofta handlar om huruvida problem skulle vara möjliga att upptäcka och åtgärda i tid. Scenarier som AI 2027 behandlar AI som bedriver AI-forskning som vändpunkten.

Det spelar roll för säkerheten eftersom en snabb slinga krymper tiden att upptäcka och åtgärda problem. EU:s uppförandekod för de mest kapabla AI-modellerna räknar ”självförbättring” och AI som ”självständigt skapar eller förbättrar AI-modeller” till de sätt på vilka människor skulle kunna förlora kontrollen.