AIdea
Foom
Skulle AI kunna förbättra sig själv så snabbt att vi inte hänger med?
Även: intelligensexplosion, hård takeoff, snabb takeoff, singulariteten, intelligence explosion, hard takeoff
Idén att när AI väl kan förbättra sig själv skulle den mycket snabbt kunna gå från mänsklig nivå till långt bortom oss.
”Foom” är ljudet av något som lyfter väldigt snabbt. Det blev namnet på en snabb ”intelligensexplosion” i en onlinedebatt 2008 mellan AI-teoretikern Eliezer Yudkowsky och ekonomen Robin Hanson om ”huruvida allmänt intelligenta AI:er kommer att kunna förbättra sina egna förmågor mycket snabbt”. Grundidén är äldre: 1965 hävdade statistikern I. J. Good att en maskin som är smartare än vi skulle kunna konstruera ännu bättre maskiner och därmed utlösa en ”intelligensexplosion”.
Mekanismen är en återkopplingsslinga. Om AI blir bra på arbetet med att bygga AI kommer varje förbättring snabbare än den förra. AI Safety Atlas använder ”foom” som synonym till ”snabb takeoff” och ”hård takeoff”. Den motsatta synen är en ”långsam takeoff”, där utvecklingen också byggs på, men mer gradvis; enligt en uppskattning som Atlas citerar ändå 10 till 100 gånger snabbare än den industriella revolutionen.
Vilken av dem vi får spelar större roll än det låter. Som Atlas påpekar handlar oenigheten ofta om huruvida problem skulle vara ”möjliga att upptäcka och åtgärda i tid”. En snabb takeoff lämnar lite utrymme att upptäcka ett misstag och rätta till det. Scenarier som AI 2027 sätter AI som bedriver AI-forskning i centrum för sin berättelse, och EU:s uppförandekod för de mest kapabla modellerna räknar AI:s ”självförbättring” till de sätt på vilka människor skulle kunna förlora kontrollen.



