Pasaulio modeliai

Įrodymai, kad vien tekstu apmokytas DI susikuria vidinį vaizdą apie tai, kaip veikia pasaulis, o ne vien derina žodžių šablonus.

Pasaulio modelis – tai vidinis vaizdinys, kokie yra dalykai ir kaip jie veikia, kurį sistema gali naudoti numatydama, kas nutiks toliau. Klausimas, ar kalbos modeliai jį turi, ar tik statistiką apie tai, kurie žodžiai paprastai seka po kurių.

Keli tyrimai pažvelgė į modelių vidų ir rado tokių vaizdinių. Paaiškėjo, kad modelis, apmokytas tik stalo žaidimo „Othello“ ėjimų sąrašais ir niekada nematęs lentos, viduje sekė lentą, o šios vidinės lentos redagavimas keitė jo numatomus ėjimus (Li ir kt., 2023). Nustatyta, kad Llama-2 modeliai vaizduoja, kur yra vietos ir kada vyko įvykiai, naudodami atskirus „erdvės neuronus“ ir „laiko neuronus“ (Gurnee ir Tegmark, 2023). Anthropic nustatė, kad Claude, paklaustas apie valstijos, kurioje yra Dalasas, sostinę, pirmiausia pavaizduoja „Teksasą“, o paskui „Ostiną“, ir kad rašydamas rimuotą eilėraštį jis pasirenka rimą prieš parašydamas eilutę.

Tai daliniai modeliai, o ne visiškas supratimas, ir AI Safety Atlas pažymi, kad dalis modelių žinių labiau primena paieškos lentelę. Tačiau įrodymai prieštarauja minčiai, kad šios sistemos tik kartoja paviršinius šablonus. Saugumui tai veikia į abi puses: pasaulio modeliai daro sistemas pajėgesnes, ir būtent juos bando perskaityti interpretuojamumo tyrimai.