Rekursive Selbstverbesserung

Programmierer, Programmierer, Programmiererin, Entwickler, Entwicklerin, Softwareentwickler, Informatiker, Informatikerin, IT, programmieren, Wissenschaft und Forschung, Wissenschaftler, Wissenschaftlerin, Forscher, Forscherin, Forschung, Akademiker, Labor

KI, die hilft, bessere KI zu bauen, die wiederum noch bessere KI baut, in einer Rückkopplungsschleife, die den Fortschritt dramatisch beschleunigen könnte.

Die meisten Technologien verbessern sich nicht selbst. KI könnte es: KI-Systeme zu entwerfen und zu trainieren ist selbst geistige Arbeit, und wenn KI gut in dieser Arbeit wird, könnte jede Generation helfen, eine stärkere nächste zu bauen. Der AI Safety Atlas beschreibt das als „ein KI-System wird besser darin, sich selbst zu verbessern“, eine Rückkopplungsschleife, die sich immer weiter beschleunigt. Die Idee geht auf den Statistiker I. J. Good zurück, der 1965 argumentierte, dass eine Maschine, die klüger ist als wir, noch bessere Maschinen entwerfen könnte, was zu einer „Intelligenzexplosion“ führe.

Wie schnell eine solche Schleife laufen würde, ist umstritten. Im Bild des „schnellen Takeoffs“ gerät sie rasch außer Kontrolle und lässt wenig Zeit zu reagieren. Im Bild des „langsamen Takeoffs“ schaukelt sich der Fortschritt allmählicher auf, nach einer Schätzung aber immer noch 10- bis 100-mal schneller als die Industrielle Revolution. Der Atlas merkt an, dass der Unterschied oft darauf hinausläuft, ob Probleme rechtzeitig bemerkbar und behebbar wären. Szenarien wie AI 2027 behandeln KI, die KI-Forschung betreibt, als Wendepunkt.

Für die Sicherheit ist das wichtig, weil eine schnelle Schleife die Zeit verkürzt, Probleme zu bemerken und zu beheben. Der Verhaltenskodex der EU für die leistungsfähigsten KI-Modelle nennt „Selbstverbesserung“ und KI, die „autonom KI-Modelle erstellt oder verbessert“, unter den Wegen, auf denen Menschen die Kontrolle verlieren könnten.