AIdea
Απλώς αυτόματη συμπλήρωση είναι
Μήπως η ΤΝ απλώς προβλέπει την επόμενη λέξη;
- Μαθητές και φοιτητές
- Εκπαιδευτικοί
Επίσης: απλώς αυτόματη συμπλήρωση, βελτιωμένη αυτόματη συμπλήρωση, just autocomplete, πρόβλεψη του επόμενου token
Η ιδέα ότι τα chatbot είναι απλώς μια μεγαλύτερη εκδοχή των προτάσεων λέξεων στο κινητό σου, άρα δεν υπάρχει λόγος ανησυχίας.
Υπάρχει κάτι αληθινό σε αυτό. Το πρώτο και μεγαλύτερο βήμα εκπαίδευσης ενός γλωσσικού μοντέλου είναι η πρόβλεψη της επόμενης λέξης: διαβάζει τεράστιο όγκο κειμένου και μαθαίνει να μαντεύει τι ακολουθεί, όπως περίπου οι προτάσεις του πληκτρολογίου στο κινητό. Και όταν απαντά, γράφει ένα κομμάτι λέξης κάθε φορά.
Όμως το «απλώς» κρύβει τρία πράγματα. Πρώτον, τα σημερινά chatbot δεν εκπαιδεύονται μόνο να προβλέπουν κείμενο. Στη συνέχεια εκπαιδεύονται με ανθρώπινη ανατροφοδότηση (RLHF) για να γίνουν χρήσιμοι βοηθοί, και από το 2024 νεότερα μοντέλα «συλλογισμού», όπως το o1 της OpenAI, εκπαιδεύονται με ενισχυτική μάθηση μεγάλης κλίμακας να λύνουν τα προβλήματα βήμα βήμα πριν απαντήσουν. Δεύτερον, η πολύ καλή πρόβλεψη της επόμενης λέξης μπορεί να απαιτεί πολλά: ερευνητές που κοιτάζουν μέσα στα μοντέλα έχουν βρει εσωτερικές αναπαραστάσεις του κόσμου, και η Anthropic διαπίστωσε ότι το Claude σχεδιάζει από πριν, διαλέγοντας μια λέξη που ομοιοκαταληκτεί πριν γράψει τον στίχο που τελειώνει με αυτήν. Όπως το έθεσε η Anthropic, τα μοντέλα είναι «εκπαιδευμένα να παράγουν μία λέξη τη φορά», αλλά «για να το κάνουν μπορεί να σκέφτονται σε πολύ μακρύτερους ορίζοντες». Τρίτον, το «απλώς» δεν λέει τίποτα για το τι μπορεί να κάνει το σύστημα. Οι ικανότητες αυξήθηκαν με την κλίμακα, συχνά με τρόπους που κανείς δεν είχε προβλέψει.
Τίποτα από αυτά δεν σημαίνει ότι αυτά τα συστήματα σκέφτονται όπως οι άνθρωποι, και εξακολουθούν να κάνουν απλά λάθη. Αλλά το «είναι αυτόματη συμπλήρωση» περιγράφει πώς παράγεται το αποτέλεσμα, όχι πόσο ικανό ή πόσο ασφαλές είναι το σύστημα. Αυτό πρέπει να ελεγχθεί, όχι να θεωρηθεί δεδομένο.
