Emergente Fähigkeiten

Programmierer, Programmierer, Programmiererin, Entwickler, Entwicklerin, Softwareentwickler, Informatiker, Informatikerin, IT, programmieren, Autoren und Journalisten, Schriftsteller, Schriftstellerin, Autor, Autorin, Journalist, Journalistin, Redakteur, Redakteurin, Übersetzer, Übersetzerin, Medien, Nachrichten

Fähigkeiten, die in größeren KI-Modellen auftauchen, ohne dass jemand sie programmiert hat, manchmal abrupt und schwer vorherzusagen.

Niemand bringt einem Sprachmodell Rechnen, Übersetzen oder Programmieren Fähigkeit für Fähigkeit bei. Seine Hersteller trainieren es darauf, Text vorherzusagen, machen es größer und finden hinterher heraus, was es kann. Ein Paper von 2022 von Forschenden bei Google und anderswo nannte eine Fähigkeit „emergent“, wenn sie „in kleineren Modellen nicht vorhanden ist, in größeren aber schon“, sie sich also nicht durch Hochrechnen von kleineren Modellen vorhersagen ließ.

Wie plötzlich diese Sprünge wirklich sind, ist umstritten. Ein Paper von 2023 argumentierte, dass viele davon daher kommen, wie die Tests bewertet werden: Bei Alles-oder-nichts-Bewertung wirkt die Verbesserung abrupt, bei Maßen, die Teilpunkte vergeben, ist sie oft gleichmäßig und vorhersagbar. Beide Seiten sind sich über den Teil einig, der für die Sicherheit zählt: Neue Fähigkeiten entstehen durch Größe statt durch Design, also erfahren die Hersteller eines Modells erst durch Tests nach dem Bau, was es kann.

Deshalb sind Tests vor der Veröffentlichung wichtig, und deshalb überraschen Modelle immer wieder sogar ihre eigenen Entwickler. Der AI Safety Atlas merkt an, dass KI-Fähigkeiten „Fachleute seit über einem Jahrzehnt immer wieder überrascht haben“.