Rekurzivní sebezdokonalování

Programátoři, programátor, programátorka, vývojář, vývojářka, ajťák, IT, kód, programování, Vědci a výzkumníci, vědec, vědkyně, výzkumník, výzkumnice, výzkum, akademik, laboratoř

AI, která pomáhá vytvořit lepší AI, která vytvoří ještě lepší AI, ve zpětné vazbě, jež by mohla pokrok dramaticky zrychlit.

Většina technologií se sama nezlepšuje. AI by mohla: navrhování a trénování systémů AI je samo o sobě intelektuální prací, a pokud se v ní AI zlepší, každá generace by mohla pomoci postavit silnější další. AI Safety Atlas to popisuje jako situaci, kdy „systém AI se zlepšuje ve zlepšování sebe sama“, zpětnou vazbu, která se stále zrychluje. Myšlenka sahá ke statistikovi I. J. Goodovi, který v roce 1965 tvrdil, že stroj chytřejší než my by mohl navrhovat ještě lepší stroje, což by vedlo k „explozi inteligence“.

Jak rychle by taková smyčka běžela, je sporné. V představě „rychlého vzletu“ se rychle vymkne kontrole a nechá málo času na reakci. V představě „pomalého vzletu“ se pokrok sčítá postupněji, i když podle jednoho odhadu stále 10 až 100krát rychleji než průmyslová revoluce. Atlas poznamenává, že rozdíl se často scvrkává na to, zda by problémy byly včas zjistitelné a opravitelné. Scénáře jako AI 2027 považují AI, která dělá výzkum AI, za bod zlomu.

Pro bezpečnost je to důležité, protože rychlá smyčka zkracuje čas na odhalení a opravu problémů. Kodex zásad EU pro nejschopnější modely AI uvádí „sebezdokonalování“ a AI, která „samostatně vytváří nebo vylepšuje modely AI“, mezi způsoby, jak by lidé mohli ztratit kontrolu.