AIdea

Das ist doch nur Autovervollständigung

Sagt KI nur das nächste Wort voraus?

Schüler und Studierende
Lehrkräfte

Auch: nur Autovervollständigung, bessere Autovervollständigung, just autocomplete, Next-Token-Vorhersage

Die Idee, dass Chatbots nur eine größere Version der Wortvorschläge auf deinem Handy sind und es deshalb keinen Grund zur Sorge gibt.

Daran ist etwas Wahres. Der erste und größte Trainingsschritt eines Sprachmodells ist die Vorhersage des nächsten Worts: Es liest riesige Textmengen und lernt zu erraten, was als Nächstes kommt, ähnlich wie die Vorschläge auf einer Handytastatur. Und wenn es antwortet, schreibt es ein Wortstück nach dem anderen.

Aber das „nur“ verschweigt drei Dinge. Erstens werden heutige Chatbots nicht nur darauf trainiert, Text vorherzusagen. Anschließend werden sie mit menschlichem Feedback (RLHF) zu hilfreichen Assistenten trainiert, und seit 2024 werden neuere „Reasoning“-Modelle wie OpenAIs o1 mit großangelegtem bestärkendem Lernen darauf trainiert, Probleme Schritt für Schritt durchzuarbeiten, bevor sie antworten. Zweitens kann es viel voraussetzen, das nächste Wort sehr gut vorherzusagen: Forschende, die in Modelle hineinschauen, haben interne Repräsentationen der Welt gefunden, und Anthropic stellte fest, dass Claude vorausplant und ein Reimwort wählt, bevor es die Zeile schreibt, die darauf endet. Wie Anthropic es formulierte, sind Modelle „darauf trainiert, ein Wort nach dem anderen auszugeben“, aber „sie denken dabei womöglich über viel längere Horizonte nach“. Drittens sagt das „nur“ nichts darüber, was das System kann. Die Fähigkeiten sind mit der Größe gewachsen, oft auf eine Weise, die niemand vorhergesagt hat.

Nichts davon heißt, dass diese Systeme wie Menschen denken, und sie machen immer noch einfache Fehler. Aber „das ist Autovervollständigung“ beschreibt, wie die Ausgabe entsteht, nicht wie fähig oder wie sicher das System ist. Das muss getestet werden, nicht angenommen.