Mudelli tad-dinja

Evidenza li IA mħarrġa biss fuq test tibni stampa interna ta’ kif taħdem id-dinja, minflok ma tqabbel biss xejriet tal-kliem.

Mudell tad-dinja huwa rappreżentazzjoni interna ta’ kif inhuma l-affarijiet u kif jaħdmu, li sistema tista’ tuża biex tbassar x’se jiġri wara. Il-mistoqsija hija jekk il-mudelli tal-lingwa għandhomx wieħed, jew biss statistika dwar liema kliem normalment isegwi liema.

Diversi studji ħarsu ġewwa l-mudelli u sabu rappreżentazzjonijiet bħal dawn. Mudell imħarreġ biss fuq listi ta’ mossi fil-logħba tal-bord Othello, u li qatt ma ntwera bord, irriżulta li kien iżomm rekord tal-bord internament, u l-editjar ta’ dak il-bord intern biddel il-mossi li bassar (Li et al., 2023). Instab li l-mudelli Llama-2 jirrappreżentaw fejn jinsabu l-postijiet u meta seħħew l-avvenimenti, b’“newroni tal-ispazju” u “newroni tal-ħin” individwali (Gurnee u Tegmark, 2023). Anthropic sabet li Claude, meta jiġi mistoqsi dwar il-kapitali tal-istat fejn tinsab Dallas, l-ewwel jirrappreżenta “Texas” u mbagħad “Austin”, u li meta jikteb poeżija bir-rima jagħżel il-kelma li tirrima qabel ma jikteb il-linja.

Dawn huma mudelli parzjali, mhux fehim sħiħ, u l-AI Safety Atlas jinnota li xi għarfien fil-mudelli jixbah aktar lil tabella ta’ tfittxija. Iżda l-evidenza tmur kontra l-idea li dawn is-sistemi jirrepetu biss xejriet tal-wiċċ. Għas-sikurezza taqta’ ż-żewġ naħat: il-mudelli tad-dinja jagħmlu s-sistemi aktar kapaċi, u huma dak li r-riċerka fl-interpretabbiltà qed tipprova taqra.