Έννοια
Αναδυόμενες ικανότητες
- Προγραμματιστές
- Συγγραφείς και δημοσιογράφοι
Ικανότητες που εμφανίζονται σε μεγαλύτερα μοντέλα ΤΝ χωρίς να τις έχει προγραμματίσει κανείς, μερικές φορές απότομα και δύσκολα προβλέψιμα.
Κανείς δεν διδάσκει σε ένα γλωσσικό μοντέλο αριθμητική, μετάφραση ή προγραμματισμό μία δεξιότητα τη φορά. Οι δημιουργοί του το εκπαιδεύουν να προβλέπει κείμενο, το μεγαλώνουν και ανακαλύπτουν αργότερα τι μπορεί να κάνει. Μια εργασία του 2022 από ερευνητές της Google και άλλων φορέων ονόμαζε μια ικανότητα «αναδυόμενη» αν «δεν υπάρχει στα μικρότερα μοντέλα αλλά υπάρχει στα μεγαλύτερα», δηλαδή δεν μπορούσε να προβλεφθεί με προέκταση από τα μικρότερα μοντέλα.
Το πόσο απότομα είναι πραγματικά αυτά τα άλματα συζητείται. Μια εργασία του 2023 υποστήριξε ότι πολλά από αυτά οφείλονται στον τρόπο βαθμολόγησης των τεστ: με βαθμολόγηση όλα ή τίποτα, η βελτίωση φαίνεται απότομη, ενώ με μέτρα που δίνουν μερική μονάδα είναι συχνά ομαλή και προβλέψιμη. Και οι δύο πλευρές συμφωνούν σε αυτό που μετράει για την ασφάλεια: οι νέες ικανότητες προέρχονται από την κλίμακα και όχι από τον σχεδιασμό, οπότε οι δημιουργοί ενός μοντέλου μαθαίνουν τι μπορεί να κάνει δοκιμάζοντάς το αφού κατασκευαστεί.
Γι’ αυτό μετρούν οι δοκιμές πριν από την κυκλοφορία, και γι’ αυτό τα μοντέλα συνεχίζουν να εκπλήσσουν ακόμη και τους δικούς τους δημιουργούς. Το AI Safety Atlas σημειώνει ότι οι ικανότητες της ΤΝ «εκπλήσσουν σταθερά τους ειδικούς για πάνω από μια δεκαετία».
