Maailmanmallit

Näyttöä siitä, että pelkällä tekstillä koulutettu tekoäly rakentaa sisäisen kuvan siitä, miten maailma toimii, eikä vain sovita sanamalleja yhteen.

Maailmanmalli on sisäinen esitys siitä, millaisia asiat ovat ja miten ne toimivat, ja järjestelmä voi käyttää sitä ennustaakseen, mitä seuraavaksi tapahtuu. Kysymys on siitä, onko kielimalleilla sellainen vai vain tilastoja siitä, mitkä sanat tapaavat seurata mitäkin.

Useat tutkimukset ovat kurkistaneet mallien sisään ja löytäneet tällaisia esityksiä. Malli, joka oli koulutettu pelkillä Othello-lautapelin siirtolistoilla eikä ollut koskaan nähnyt lautaa, osoittautui seuraavan lautaa sisäisesti, ja tämän sisäisen laudan muokkaaminen muutti sen ennustamia siirtoja (Li ym., 2023). Llama-2-mallien havaittiin esittävän, missä paikat sijaitsevat ja milloin tapahtumat sattuivat, yksittäisten ”paikkaneuronien” ja ”aikaneuronien” avulla (Gurnee ja Tegmark, 2023). Anthropic havaitsi, että kun Claudelta kysytään sen osavaltion pääkaupunkia, jossa Dallas sijaitsee, se esittää ensin ”Texasin” ja sitten ”Austinin”, ja että riimirunoa kirjoittaessaan se valitsee loppusoinnun ennen kuin kirjoittaa rivin.

Nämä ovat osittaisia malleja, eivät täyttä ymmärrystä, ja AI Safety Atlas huomauttaa, että osa mallien tiedosta muistuttaa enemmän hakutaulukkoa. Näyttö puhuu kuitenkin sitä ajatusta vastaan, että nämä järjestelmät vain toistaisivat pintamalleja. Turvallisuuden kannalta se toimii kumpaankin suuntaan: maailmanmallit tekevät järjestelmistä kyvykkäämpiä, ja juuri niitä tulkittavuustutkimus yrittää lukea.