Rekurzivno samopoboljšavanje

Programeri, programer, programerka, developer, softverski inženjer, informatičar, IT, kod, programiranje, Znanstvenici i istraživači, znanstvenik, znanstvenica, istraživač, istraživačica, istraživanje, akademik, laboratorij

UI koja pomaže izgraditi bolju UI, koja pak gradi još bolju, u povratnoj petlji koja bi mogla dramatično ubrzati napredak.

Većina tehnologija ne poboljšava sama sebe. UI bi mogla: osmišljavanje i treniranje sustava UI-ja i samo je intelektualni rad, a ako UI postane dobra u tom radu, svaka bi generacija mogla pomoći izgraditi jaču sljedeću. AI Safety Atlas to opisuje kao „sustav UI-ja postaje bolji u poboljšavanju samog sebe”, povratnu petlju koja se stalno ubrzava. Ideja seže do statističara I. J. Gooda, koji je 1965. tvrdio da bi stroj pametniji od nas mogao osmisliti još bolje strojeve, što bi dovelo do „eksplozije inteligencije”.

Koliko bi brzo takva petlja tekla, sporno je. U slici „brzog polijetanja” brzo izmiče kontroli i ostavlja malo vremena za reakciju. U slici „sporog polijetanja” napredak se nadograđuje postupnije, iako prema jednoj procjeni i dalje 10 do 100 puta brže od industrijske revolucije. Atlas napominje da se razlika često svodi na to bi li problemi bili pravodobno uočljivi i popravljivi. Scenariji poput AI 2027 tretiraju UI koja istražuje UI kao prekretnicu.

To je važno za sigurnost jer brza petlja skraćuje vrijeme za uočavanje i popravljanje problema. Kodeks prakse EU-a za najsposobnije modele UI-ja navodi „samopoboljšavanje” i UI koja „samostalno stvara ili poboljšava modele UI-ja” među načinima na koje bi ljudi mogli izgubiti kontrolu.