Rekurzívne sebazdokonaľovanie

Programátori, programátor, programátorka, vývojár, vývojárka, IT, ajťák, kód, programovanie, Vedci a výskumníci, vedec, vedkyňa, výskumník, výskumníčka, výskum, akademik, laboratórium

AI, ktorá pomáha vytvoriť lepšiu AI, ktorá vytvorí ešte lepšiu AI, v spätnej väzbe, ktorá by mohla pokrok dramaticky zrýchliť.

Väčšina technológií sa sama nezlepšuje. AI by mohla: navrhovanie a trénovanie systémov AI je samo osebe intelektuálnou prácou, a ak sa v nej AI zlepší, každá generácia by mohla pomôcť postaviť silnejšiu ďalšiu. AI Safety Atlas to opisuje ako situáciu, keď „systém AI sa zlepšuje v zlepšovaní seba samého“, spätnú väzbu, ktorá sa stále zrýchľuje. Myšlienka siaha k štatistikovi I. J. Goodovi, ktorý v roku 1965 tvrdil, že stroj múdrejší ako my by mohol navrhovať ešte lepšie stroje, čo by viedlo k „explózii inteligencie“.

Ako rýchlo by taká slučka bežala, je sporné. V predstave „rýchleho vzletu“ sa rýchlo vymkne kontrole a nechá málo času na reakciu. V predstave „pomalého vzletu“ sa pokrok sčítava postupnejšie, aj keď podľa jedného odhadu stále 10 až 100-krát rýchlejšie než priemyselná revolúcia. Atlas poznamenáva, že rozdiel sa často zužuje na to, či by problémy boli včas zistiteľné a opraviteľné. Scenáre ako AI 2027 považujú AI, ktorá robí výskum AI, za bod zlomu.

Pre bezpečnosť je to dôležité, pretože rýchla slučka skracuje čas na odhalenie a opravu problémov. Kódex postupov EÚ pre najschopnejšie modely AI uvádza „sebazdokonaľovanie“ a AI, ktorá „samostatne vytvára alebo vylepšuje modely AI“, medzi spôsobmi, ako by ľudia mohli stratiť kontrolu.