AIdea
Στοχαστικός παπαγάλος
Καταλαβαίνει η ΤΝ κάτι ή απλώς επαναλαμβάνει όσα έχει διαβάσει;
- Συγγραφείς και δημοσιογράφοι
- Μαθητές και φοιτητές
- Εκπαιδευτικοί
Επίσης: στοχαστικοί παπαγάλοι, stochastic parrot, stochastic parrots
Ο ισχυρισμός ότι τα γλωσσικά μοντέλα συρράπτουν λέξεις με βάση την πιθανότητα, χωρίς καμία κατανόηση του νοήματος.
Η φράση προέρχεται από μια εργασία του 2021 της γλωσσολόγου Emily M. Bender, της ερευνήτριας ΤΝ Timnit Gebru και συνεργατών τους. Περιέγραψαν ένα γλωσσικό μοντέλο ως ένα σύστημα που συρράπτει ακολουθίες λέξεων που έχει δει στα δεδομένα εκπαίδευσής του, ανάλογα με τις πιθανότητες συνδυασμού τους, «χωρίς καμία αναφορά στο νόημα». «Στοχαστικός» σημαίνει ότι τον κυβερνά η τύχη· οι παπαγάλοι επαναλαμβάνουν λέξεις που δεν καταλαβαίνουν.
Οι κύριες προειδοποιήσεις της εργασίας αφορούσαν βλάβες που είναι πραγματικές σήμερα: το περιβαλλοντικό και οικονομικό κόστος όλο και μεγαλύτερων μοντέλων, τα τεράστια ανεξέταστα δεδομένα εκπαίδευσης που ενσωματώνουν προκαταλήψεις, και τον κίνδυνο οι άνθρωποι να εμπιστεύονται ένα άνετο κείμενο πίσω από το οποίο δεν υπάρχει τίποτα. Αυτές οι ανησυχίες ισχύουν ακόμη. Η ίδια η φράση απέκτησε δική της ζωή, ως συντομογραφία για το «στην πραγματικότητα δεν καταλαβαίνει τίποτα», και χρησιμοποιείται συχνά για να υποστηριχθεί ότι αυτά τα συστήματα είναι λιγότερο ικανά απ’ όσο φαίνονται.
Σε αυτό το στενότερο ερώτημα, τα στοιχεία έχουν μετακινηθεί. Ερευνητές που κοιτάζουν μέσα στα μοντέλα έχουν βρει εσωτερικές αναπαραστάσεις του κόσμου: ενός ταμπλό παιχνιδιού που το μοντέλο δεν είδε ποτέ, του πού βρίσκονται τα μέρη και πότε έγιναν τα γεγονότα, και ενδιάμεσων βημάτων συλλογισμού, όπως «το Ντάλας είναι στο Τέξας» στον δρόμο προς το «η πρωτεύουσα είναι το Όστιν». Το AI Safety Atlas καταλήγει ότι τα μοντέλα συμπιέζουν όσα μαθαίνουν σε κάτι σαν μοντέλα του κόσμου, αν και άνισα. Το αν αυτό μετράει ως «κατανόηση» είναι εν μέρει θέμα ορισμού. Για την ασφάλεια, αυτό που μετράει είναι ότι αυτά τα συστήματα μπορούν να κάνουν περισσότερα, και πιο απρόσμενα, απ’ όσα υπονοεί η εικόνα του παπαγάλου.
