Világmodellek

Bizonyítékok arra, hogy a csak szövegen tanított MI belső képet alkot arról, hogyan működik a világ, ahelyett hogy csak szómintázatokat illesztene.

A világmodell annak belső reprezentációja, hogy milyenek a dolgok és hogyan működnek, amelyet egy rendszer arra használhat, hogy előre jelezze, mi történik ezután. A kérdés az, hogy a nyelvi modelleknek van-e ilyen, vagy csak statisztikájuk arról, hogy mely szavak szoktak követni melyeket.

Több tanulmány is belenézett modellekbe, és ilyen reprezentációkat talált. Kiderült, hogy egy modell, amelyet csak az Othello társasjáték lépéslistáin tanítottak, és soha nem mutattak neki táblát, belül követte a táblát, és ennek a belső táblának a szerkesztése megváltoztatta az általa előre jelzett lépéseket (Li és mtsai., 2023). A Llama-2 modellekről kiderült, hogy reprezentálják, hol vannak a helyek és mikor történtek az események, egyedi „térneuronokkal” és „időneuronokkal” (Gurnee és Tegmark, 2023). Az Anthropic azt találta, hogy Claude, amikor annak az államnak a fővárosáról kérdezik, amelyben Dallas van, először „Texast”, majd „Austint” reprezentálja, és hogy rímes vers írásakor kiválasztja a rímszót, mielőtt megírná a sort.

Ezek részleges modellek, nem teljes megértés, és az AI Safety Atlas megjegyzi, hogy a modellekben lévő tudás egy része inkább keresőtáblára hasonlít. A bizonyítékok azonban ellentmondanak annak az elképzelésnek, hogy ezek a rendszerek csak felszíni mintázatokat ismételnek. A biztonság szempontjából ez mindkét irányba hat: a világmodellek képesebbé teszik a rendszereket, és éppen ezeket próbálja kiolvasni az értelmezhetőségi kutatás.