Maailmamudelid

Tõendid selle kohta, et ainult tekstil treenitud tehisintellekt loob sisemise pildi sellest, kuidas maailm toimib, selle asemel et ainult sõnamustreid sobitada.

Maailmamudel on sisemine kujutis sellest, millised asjad on ja kuidas need toimivad, mida süsteem saab kasutada, et ennustada, mis järgmisena juhtub. Küsimus on selles, kas keelemudelitel on selline või ainult statistika selle kohta, millised sõnad kipuvad millistele järgnema.

Mitmed uuringud on mudelitesse sisse vaadanud ja selliseid kujutisi leidnud. Ilmnes, et mudel, mida treeniti ainult lauamängu Othello käikude loenditel ja millele ei näidatud kunagi lauda, jälgis lauda sisemiselt, ning selle sisemise laua muutmine muutis käike, mida ta ennustas (Li jt, 2023). Llama-2 mudelite puhul leiti, et need kujutavad, kus kohad asuvad ja millal sündmused toimusid, üksikute „ruumineuronite“ ja „ajaneuronite“ abil (Gurnee ja Tegmark, 2023). Anthropic leidis, et kui Claude’ilt küsitakse selle osariigi pealinna, kus asub Dallas, kujutab ta kõigepealt „Texast“ ja seejärel „Austinit“, ning et riimuvat luuletust kirjutades valib ta riimsõna enne, kui rea kirja paneb.

Need on osalised mudelid, mitte täielik mõistmine, ja AI Safety Atlas märgib, et osa mudelite teadmistest meenutab pigem otsingutabelit. Kuid tõendid räägivad vastu ideele, et need süsteemid kordavad ainult pinnapealseid mustreid. Ohutuse jaoks mõjub see mõlemat pidi: maailmamudelid muudavad süsteemid võimekamaks ja just neid püüab tõlgendatavuse uurimine lugeda.