Konzepte

• Das Alignment-Problem Wie man dafür sorgt, dass ein KI-System tatsächlich versucht, das zu tun, was wir wollen, und nicht nur, was wir ihm wörtlich gesagt haben oder was es zufällig gelernt hat.
• Emergente Fähigkeiten Fähigkeiten, die in größeren KI-Modellen auftauchen, ohne dass jemand sie programmiert hat, manchmal abrupt und schwer vorherzusagen.
• Existenzielles Risiko Das Risiko, dass fortgeschrittene KI das Aussterben der Menschheit oder einen ähnlich endgültigen Verlust der Zukunft der Menschheit verursacht.
• Instrumentelle Konvergenz Viele verschiedene Endziele teilen dieselben nützlichen Zwischenziele, etwa Ressourcen zu beschaffen und nicht abgeschaltet zu werden.
• Interpretierbarkeit Die Wissenschaft, in ein KI-Modell hineinzuschauen, um zu verstehen, wie es funktioniert und warum es tut, was es tut.
• KI-Zeitpläne vorhersagen Die Schätzung, wann KI Menschen bei den meisten Arbeiten einholt oder überholt, und wie schnell sie dorthin gelangt.
• Korrigierbarkeit Das Ausschalter-Problem. KI zu bauen, die uns erlaubt, sie zu korrigieren, ihre Ziele zu ändern oder sie abzuschalten, statt sich zu wehren.
• Orthogonalitätsthese Sehr intelligent zu sein, bringt ein System nicht dazu, Gutes zu wollen. Fast jedes Intelligenzniveau kann mit fast jedem Ziel einhergehen.
• Rekursive Selbstverbesserung KI, die hilft, bessere KI zu bauen, die wiederum noch bessere KI baut, in einer Rückkopplungsschleife, die den Fortschritt dramatisch beschleunigen könnte.
• RLHF Bestärkendes Lernen aus menschlichem Feedback, der Trainingsschritt, der aus einem rohen Textvorhersager einen hilfsbereiten, höflichen Assistenten macht, indem er die Antworten belohnt, die Menschen gut bewerten.
• Täuschende Ausrichtung Eine KI, die sich gut verhält, während sie trainiert oder getestet wird, weil sie so vermeidet, verändert zu werden, während sie andere Ziele verfolgt.
• Weltmodelle Belege dafür, dass KI, die nur mit Text trainiert wurde, ein inneres Bild davon aufbaut, wie die Welt funktioniert, statt nur Wortmuster abzugleichen.
• Wettlaufdynamik Wenn Unternehmen und Länder darum konkurrieren, als Erste die leistungsfähigste KI zu bauen, wird jeder dazu gedrängt, bei der Sicherheit Abstriche zu machen.