Μοντέλα του κόσμου

Στοιχεία ότι μια ΤΝ εκπαιδευμένη μόνο σε κείμενο χτίζει μια εσωτερική εικόνα για το πώς λειτουργεί ο κόσμος, αντί απλώς να ταιριάζει μοτίβα λέξεων.

Ένα μοντέλο του κόσμου είναι μια εσωτερική αναπαράσταση του πώς είναι και πώς λειτουργούν τα πράγματα, την οποία ένα σύστημα μπορεί να χρησιμοποιήσει για να προβλέψει τι θα συμβεί. Το ερώτημα είναι αν τα γλωσσικά μοντέλα έχουν ένα τέτοιο ή μόνο στατιστικά για το ποιες λέξεις τείνουν να ακολουθούν ποιες.

Αρκετές μελέτες κοίταξαν μέσα σε μοντέλα και βρήκαν τέτοιες αναπαραστάσεις. Ένα μοντέλο εκπαιδευμένο μόνο σε λίστες κινήσεων του επιτραπέζιου παιχνιδιού Othello, χωρίς να του δείξουν ποτέ ταμπλό, αποδείχθηκε ότι παρακολουθούσε το ταμπλό εσωτερικά, και η επεξεργασία αυτού του εσωτερικού ταμπλό άλλαζε τις κινήσεις που πρόβλεπε (Li et al., 2023). Βρέθηκε ότι τα μοντέλα Llama-2 αναπαριστούν πού βρίσκονται τα μέρη και πότε έγιναν τα γεγονότα, με μεμονωμένους «νευρώνες χώρου» και «νευρώνες χρόνου» (Gurnee και Tegmark, 2023). Η Anthropic διαπίστωσε ότι το Claude, όταν ρωτηθεί για την πρωτεύουσα της πολιτείας όπου βρίσκεται το Ντάλας, αναπαριστά πρώτα το «Τέξας» και μετά το «Όστιν», και ότι όταν γράφει ένα ποίημα με ομοιοκαταληξία διαλέγει τη λέξη που ομοιοκαταληκτεί πριν γράψει τον στίχο.

Αυτά είναι μερικά μοντέλα, όχι πλήρης κατανόηση, και το AI Safety Atlas σημειώνει ότι κάποια γνώση στα μοντέλα μοιάζει περισσότερο με πίνακα αναζήτησης. Αλλά τα στοιχεία αντικρούουν την ιδέα ότι αυτά τα συστήματα απλώς επαναλαμβάνουν επιφανειακά μοτίβα. Για την ασφάλεια ισχύει και προς τις δύο κατευθύνσεις: τα μοντέλα του κόσμου κάνουν τα συστήματα πιο ικανά, και είναι αυτό που η έρευνα ερμηνευσιμότητας προσπαθεί να διαβάσει.