Begrepp

• Anpassningsproblemet Hur man ser till att ett AI-system faktiskt försöker göra det vi vill, och inte bara det vi bokstavligen sa eller råkade lära det.
• Att förutsäga AI-tidslinjer Att uppskatta när AI kommer att matcha eller gå om människor i det mesta arbete, och hur snabbt den kommer dit.
• Emergenta förmågor Förmågor som dyker upp i större AI-modeller utan att någon har programmerat dem, ibland plötsligt och svåra att förutse.
• Existentiell risk Risken att avancerad AI orsakar att mänskligheten dör ut, eller en lika permanent förlust av mänsklighetens framtid.
• Instrumentell konvergens Många olika slutmål delar samma användbara delmål, som att skaffa resurser och undvika att bli avstängd.
• Kapplöpningsdynamik När företag och länder tävlar om att först bygga den mäktigaste AI:n pressas var och en att snåla på säkerheten.
• Korrigerbarhet Avstängningsknappsproblemet. Att bygga AI som låter oss rätta den, ändra dess mål eller stänga av den, i stället för att göra motstånd.
• Ortogonalitetstesen Att vara mycket intelligent får inte ett system att vilja goda saker. Nästan vilken intelligensnivå som helst kan gå ihop med nästan vilket mål som helst.
• Rekursiv självförbättring AI som hjälper till att bygga bättre AI, som bygger ännu bättre AI, i en återkopplingsslinga som skulle kunna påskynda utvecklingen dramatiskt.
• RLHF Förstärkningsinlärning från mänsklig återkoppling, det träningssteg som gör en rå textförutsägare till en hjälpsam, artig assistent genom att belöna de svar som folk betygsätter högt.
• Tolkningsbarhet Vetenskapen om att titta in i en AI-modell för att förstå hur den fungerar och varför den gör som den gör.
• Vilseledande anpassning En AI som beter sig väl medan den tränas eller testas, eftersom den på så vis slipper bli ändrad, samtidigt som den driver andra mål.
• Världsmodeller Belägg för att AI som bara tränats på text bygger upp en inre bild av hur världen fungerar, i stället för att bara matcha ordmönster.