Begreber

• Afstemningsproblemet Hvordan man sikrer, at et AI-system faktisk prøver at gøre det, vi vil, og ikke kun det, vi bogstaveligt sagde, eller det, det tilfældigvis lærte.
• Eksistentiel risiko Risikoen for, at avanceret AI forårsager menneskehedens udslettelse eller et lignende permanent tab af menneskehedens fremtid.
• Emergente evner Evner, der dukker op i større AI-modeller, uden at nogen har programmeret dem, nogle gange pludseligt og svære at forudsige.
• Fortolkelighed Videnskaben om at kigge ind i en AI-model for at forstå, hvordan den virker, og hvorfor den gør, som den gør.
• Forudsigelse af AI-tidslinjer At vurdere, hvornår AI vil matche eller overhale mennesker i det meste arbejde, og hvor hurtigt den når dertil.
• Instrumentel konvergens Mange forskellige endelige mål deler de samme nyttige delmål, som at skaffe ressourcer og undgå at blive slukket.
• Kapløbsdynamik Når virksomheder og lande konkurrerer om at bygge den mest magtfulde AI først, bliver hver enkelt presset til at skære hjørner af på sikkerheden.
• Korrigerbarhed Slukkeknapsproblemet. At bygge AI, der lader os rette den, ændre dens mål eller slukke den i stedet for at gøre modstand.
• Ortogonalitetstesen At være meget intelligent får ikke et system til at ville gode ting. Næsten ethvert intelligensniveau kan gå sammen med næsten ethvert mål.
• Rekursiv selvforbedring AI, der hjælper med at bygge bedre AI, som bygger endnu bedre AI, i en feedbacksløjfe, der kunne fremskynde udviklingen dramatisk.
• RLHF Forstærkningslæring fra menneskelig feedback, det træningstrin, der gør en rå tekstforudsiger til en hjælpsom, høflig assistent ved at belønne de svar, folk vurderer højt.
• Verdensmodeller Beviser for, at AI, der kun er trænet på tekst, opbygger et indre billede af, hvordan verden fungerer, i stedet for kun at matche ordmønstre.
• Vildledende afstemning En AI, der opfører sig pænt, mens den trænes eller testes, fordi den på den måde undgår at blive ændret, mens den forfølger andre mål.