AIdea
Stochastischer Papagei
Versteht KI irgendetwas, oder wiederholt sie nur, was sie gelesen hat?
- Autoren und Journalisten
- Schüler und Studierende
- Lehrkräfte
Auch: stochastische Papageien, stochastic parrot, stochastic parrots
Die Behauptung, dass Sprachmodelle Wörter nach Wahrscheinlichkeit aneinanderreihen, ohne jedes Verständnis von Bedeutung.
Der Ausdruck stammt aus einem Paper von 2021 der Linguistin Emily M. Bender, der KI-Forscherin Timnit Gebru und Kolleginnen. Sie beschrieben ein Sprachmodell als System, das Wortfolgen, die es in seinen Trainingsdaten gesehen hat, nach Wahrscheinlichkeiten ihres Zusammenauftretens aneinanderreiht, „ohne jeden Bezug auf Bedeutung“. „Stochastisch“ heißt vom Zufall bestimmt; Papageien wiederholen Wörter, die sie nicht verstehen.
Die Hauptwarnungen des Papers betrafen Schäden, die heute real sind: die ökologischen und finanziellen Kosten immer größerer Modelle, riesige ungeprüfte Trainingsdaten, die Vorurteile festschreiben, und die Gefahr, dass Menschen flüssigem Text vertrauen, hinter dem nichts steht. Diese Bedenken gelten weiterhin. Der Ausdruck selbst hat ein Eigenleben entwickelt, als Kurzform für „es versteht eigentlich nichts“, und wird oft benutzt, um zu argumentieren, dass diese Systeme weniger können, als es scheint.
Bei dieser engeren Frage hat sich die Beweislage verschoben. Forschende, die in Modelle hineinschauen, haben interne Repräsentationen der Welt gefunden: eines Spielbretts, das dem Modell nie gezeigt wurde, davon, wo Orte liegen und wann Ereignisse stattfanden, und von Zwischenschritten beim Schlussfolgern, etwa „Dallas liegt in Texas“ auf dem Weg zu „die Hauptstadt ist Austin“. Der AI Safety Atlas kommt zu dem Schluss, dass Modelle das Gelernte zu so etwas wie Weltmodellen verdichten, wenn auch ungleichmäßig. Ob das als „Verstehen“ zählt, ist zum Teil eine Frage der Definition. Für die Sicherheit zählt, dass diese Systeme mehr können, und Unerwarteteres, als das Bild vom Papagei nahelegt.
